rdd(resilient distributed datasets)弹性分布式数据集。你不好理解的话,可以把rdd就可以看成是一个简单的"动态数组"(比如arraylist),对其操作,也只需要 调用它的方法而已,和java中的arraylist一样。但它与一般动态数组的区别在于:rdd是分布的。弹性是指的是数据自动在内存和磁盘切换, task如果失败会进行特定次数的重试。如果在某个节点发生错误,rdd会自动在不同的节点中重试。
文章转载自原文:
如对本文有疑问, 点击进行留言回复!!
HBase Filter 过滤器之FamilyFilter详解
去 HBase,Kylin on Parquet 性能表现如何?
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
网友评论