当前位置： 移动技术网 > IT编程>数据库>其他数据库 > Spark和Scala当中的collect方法的用法和例子

Spark和Scala当中的collect方法的用法和例子

2019年08月13日  | 移动技术网IT编程  | 我要评论

[学习笔记]

collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟分布式数据集比较抽象。spark的collect方法，是action类型的一个算子，会从远程集群拉取数据到driver端。最后，将大量数据
 汇集到一个driver节点上，将数据用数组存放，占用了jvm堆内存，非常用意造成内存溢出，只用作小型数据的观察。*/
    val arr = res.collect();
    println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4));
  }
}
输出结果：
map 用法  is 1,16,9,49,25
filter 用法 1,4,3
map2 用法  is 马克-to-win @ 马克java社区：2,5,4,8,6
filter2 用法 马克-to-win @ 马克java社区：4,7,5
arr(0) is 1 arr(2) is 3 arr(4) is 5
sum is 55
reducebykey 用法 (1,8),(3,12)

文章转载自原文：

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网