当前位置： 移动技术网 > IT编程>数据库>其他数据库 > Spark高级算子aggregate所遇到的坑

Spark高级算子aggregate所遇到的坑

2020年05月10日  | 移动技术网IT编程  | 我要评论

茂名二手房网,美发店活动方案,孙悟空的原型

val rdd3 = sc.parallelize(list("12","23","345","4567"),2)

rdd3.aggregate("")((x,y) => math.max(x.length, y.length).tostring, (x,y) => x + y)

两个分区先计算出字符串的最大长度，然后合成字符串

结果可能是：”24”，也可能是：”42”，体现了并行化特点。

 

val rdd4 = sc.parallelize(list("12","23","345",""),2)

rdd4.aggregate("")((x,y) => math.min(x.length, y.length).tostring, (x,y) => x + y)

结果是：”10”，也可能是”01”，

原因：注意有个初始值””，其长度0，然后0.tostring变成字符串。值"0".tostring的长度为0,"0".tostring.length的长度为1 。分区可能为（“12”，“23”）和（“345”，“”）；初始值为""，然后初始值和“12”，“34”比较，或者是""和“345”比较，然后和“”比较。

math.min("".length, "12".length ) 的结果是：0 , math.min("0".length, "23".length ) 的结果是1

math.min("".length, "345".length) 的结果是：0 , math.min("0".length, "".length)  的结果是：0  

 

val rdd5 = sc.parallelize(list("12","23","","345"),2)

rdd5.aggregate("")((x,y) => math.min(x.length, y.length).tostring, (x,y) => x + y)

结果是：”11”，原因如下：

math.min("".length, "12".length ) 的结果是：0 , math.min("0".length, "23".length ) 的结果是：1  

math.min("".length, "".length) 的结果是：0 , math.min("0".length, "345".length) 的结果是：1  

注意：值"0".tostring的长度为0,"0".tostring.length的长度为1

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网