2018即将推出的Apache Spark 2.4都有哪些新功能
本文来自于2018年09月19日在 adobe systems inc 举行的apache spark meetup。
即将发布的 apache spark 2.4 版本是 2.x 系列的第五个版本。 本文对apache spark 2.4 的主要功能和增强功能进行了概述。
- 新的调度模型(barrier scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 spark 的 stage 中,以简化分布式训练工作流程。
- 添加了35个高阶函数,用于在 spark sql 中操作数组/map。
- 新增一个新的基于 databricks 的 spark-avro 模块的原生 avro 数据源。
- pyspark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。
- spark on k8s 支持 pyspark 和 r ,支持客户端模式(client-mode)。
- structured streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
- 内置数据源的各种性能改进。 例如,parquet 嵌套模式修剪(schema pruning)。
- 支持 scala 2.12。
点击 示说网 ,即可下载此ppt。
总结
以上所述是小编给大家介绍的2018即将推出的apache spark 2.4都有哪些新功能,希望对大家有所帮助
如对本文有疑问,
点击进行留言回复!!
相关文章:
-
-
-
-
UOS arm换源
清华源mv/etc/apt/sources.list /etc/apt/sources.list.bak备份原始...
[阅读全文]
-
-
IT基础与云计算
软路由器(IPtable)iptable是Linux上常用的防火墙软件。负载均衡负载均衡是网络基础构架的关键组件...
[阅读全文]
-
-
嵌入式行业职位分析
嵌入式开发涵盖硬件软件,开发链条很长,要根据自己的实际情况选择适应的职位。嵌入式的职位大概有:1、硬件工程师:负...
[阅读全文]
-
-
-
网友评论