加州大学伯克利分校的教授,从历史发展的角度,讲述了在超级计算机中如何编程,从而引出风行几十年的mpi编程框架,然后这个框架编程过于复杂,进而演化出了mapreduce模型,这个模型的第一个开源实践版本是hadoop,hadoop风光了近10年以后,其中的计算引擎mapreduce被apache spark所取代,spark在mapreduce(bsp)模型基础之上,有增加了很多其它编程模式,比如sql/streaming/ml/graph等等,让当今大数据时代的并行编程变得如此简单。本文是整个历史的亲见者和推动者所写,让我们从源头和根本理解并行编程的发展史!
篇幅过长,原文浏览地址https://www.slidestalk.com/s/mapreducespark65545
如对本文有疑问, 点击进行留言回复!!
去 HBase,Kylin on Parquet 性能表现如何?
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
如何在 HBase Shell 命令行正常查看十六进制编码的中文?哈哈~
网友评论