开放式基金,广西摄影,谷立业
广播变量
应用场景：在提交作业后，task在执行的过程中，
有一个或多个值需要在计算的过程中多次从driver端拿取时，此时会必然会发生大量的网络io，
这时，最好用广播变量的方式，将driver端的变量的值事先广播到每一个worker端，
以后再计算过程中只需要从本地拿取该值即可，避免网络io，提高计算效率。
广播变量在广播的时候，将driver端的变量广播到每一个每一个worker端，一个worker端会收到一份仅一份该变量的值
注意：广播的值必须是一个确切的值，不能广播rdd（因为rdd是一个数据的描述，没有拿到确切的值），
如果想要广播rdd对应的值，需要将该rdd对应的数据获取到driver端然后再进行广播。
广播的数据是不可改变的。
广播变量的数据不可太大，如果太大，会在executor占用大量的缓存，相对于计算的时候的缓存就少很多。
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
去 HBase，Kylin on Parquet 性能表现如何？
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
如何在 HBase Shell 命令行正常查看十六进制编码的中文？哈哈~
HBase Filter 过滤器之 Comparator 原理及源码学习
安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)
我要评论
网友评论