Spark

spark介绍 按照官方的定义，spark 是一个通用，快速，适用于大规模数据的处理引擎。 通用性：我们可以使用spark sql来执行常规分析， spark stre

一、前置知识详解 spark sql重要是操作dataframe，dataframe本身提供了save和load的操作， load：可以创建dataframe，

redis 中spark参数executor-cores引起的异常解决办法 报错信息 unexpected end of stream 16/10/11 16

前言 介绍spark sql的json支持，这是我们在databricks中开发的一个功能，可以在spark中更容易查询和创建json数据。随着网络和移动应用程序的普及，

批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $spark_home/

概述 spark sql是spark中的一个模块，负责结构化数据的处理。它跟spark rdd api不一样，spark sql提供的接口会提供更多关于数据和执行计算的信息。在内部，spark sq

1. 说明 本文基于：spark-2.4.0-hadoop2.7-高可用(HA)安装部署 2. 启动Spark Shell 在任意一台有spark的机器上执行 注意： 如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程 ...

...

前两次讲了 Spark RPC 的基础内容以及源码时序分析。这次我们来看看Spark 如何用 RPC 实现心跳。 ...

Spark RPC 框架对 Spark 来说是至关重要的，它在 Spark 中担任中枢的作用。 ...

rdd是什么？ rdd是spark中的抽象数据结构类型，任何数据在spark中都被表示为rdd。从编程的角度来看，rdd可以简单看成是一个数组。和普通数组的区别是，r

随着spark项目的逐渐成熟, 越来越多的可配置参数被添加到spark中来。在spark中提供了三个地方用于配置： 　　1、spark properties：这个可以

k-means算法是一种基于距离的聚类算法，采用迭代的方法，计算出k个聚类中心，把若干个点聚成k类。 mllib实现k-means算法的原理是，运行多个k-means

有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的hadoop、spark和stor

 在日常的编程中，我经常需要标识存在于文本文档中的部件和结构，这些文档包括：日志文件、配置文件、定界的数据以及格式更自由的（但还是半结构化的）报表格式。所有这些文

环境说明：         操作系统： centos7 64位 3台   &n

前言 spark 是 berkeley 开发的分布式计算的框架，相对于 hadoop 来说，spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到

Spark编程环境 Spark 可以独立安装使用，也可以和 Hadoop 一起安装使用。在安装 Spark 之前，首先确保你的电脑上已经安装了 或者更高的版本。 Spark 安装 访问 "Spark 下载页面" ，并选择最新版本的 Spark 直接下载，当前的最新版本是 2.4.2 。下载好之后需要 ...

1. aggregate函数 将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zerovalue)进行combine操作。这个函数最终

1. spark简介 2009年，spark诞生于伯克利大学的amplab实验室。最出spark只是一个实验性的项目，代码量非常少，属于轻量级的框架。

1. spark中的rdd resilient distributed datasets(弹性分布式数据集) spark中的最基本的抽象 有了rdd的

1. spark sql是什么? 处理结构化数据的一个spark的模块 它提供了一个编程抽象叫做dataframe并且作为分布式sql查询引擎的作用

spark streaming算子开发实例 transform算子开发 transform操作应用在dstream上时，可以用于执行任意的rdd到rdd的转换操作，还可

1. spark streaming spark streaming是一个基于spark core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理

spark 远端调试 本地调试远端集群运行的spark项目，当spark项目在集群上报错，但是本地又查不出问题时，最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又

1.启动spark集群，就是执行sbin/start-all.sh,启动master和多个worker节点，master主要作为集群的管理和监控，worker节点主要担

spark运行模式 spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 yarn和 mesos 中，当然 s

Spark 的 RDD 学习第二节，笔记相关： 1.如何向 Spark 传递函数 2.Spark 常用的一些转化和行动操作 3.Spark 的持久化级别 ...

细说Spark Streaming和Structured Streaming的区别 ...

spark