当前位置： 移动技术网 > IT编程>数据库>其他数据库 > 即将推出的Apache Spark 2.4有什么新功能

即将推出的Apache Spark 2.4有什么新功能

2018年09月29日  | 移动技术网IT编程  | 我要评论

本文来自于2018年09月19日在 adobe systems inc 举行的 apache spark meetup。

即将发布的 apache spark 2.4 版本是 2.x 系列的第五个版本。 本文对 apache spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型（barrier scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 spark 的 stage 中，以简化分布式训练工作流程。

  • 添加了35个高阶函数，用于在 spark sql 中操作数组/map。

  • 新增一个新的基于 databricks 的 spark-avro 模块的原生 avro 数据源。

  • pyspark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。

  • spark on k8s 支持 pyspark 和 r ，支持客户端模式（client-mode）。

  • structured streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。

  • 内置数据源的各种性能改进。 例如，parquet 嵌套模式修剪（schema pruning）。

  • 支持 scala 2.12。

 

点击 示说网 ，即可下载此ppt。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

本文来自示说网主页 ，全文地址请点击：https://www.slidestalk.com/s/20180919whatsnewinupcomingapachespark24final78282

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网