当前位置: 移动技术网 > IT编程>软件设计>架构 > 大数据-hadoop-MapReduce计算流程

大数据-hadoop-MapReduce计算流程

2019年09月21日  | 移动技术网IT编程  | 我要评论
  • mapreduce计算流程

  1  首先是通过程序员所编写的mr程序通过命令行本地提交或者ide远程提交

  2 一个mr程序就是一个job,job信息会给resourcemanger,向resourcemanger注册信息

  • 3  在注册通过后,job会拷贝相关的资源信息(从hdfs中)

    4 紧接着会向resourcemanger提交完整的job信息(包括资源信息)

    5a  resourcemanger 会通过提交的job信息,计算出job所需的资源,为job分配container资源

    5b 计算资源会分发给对应的nodemanger,nodemanager会创建一个mrappmaster

    6  mrappmaster初始化job

    7 获取输入切片信息

    8 mrappmaster向resourcemanager 请求资源

    9a 启动计算资源(连接到对应的资源所在nodemanager)

    9b 启动yarn child

    10 从文件系统中获取完整的job信息

    11 启动对应的maptask或者reducetask 进程,执行计算。

 

如对本文有疑问, 点击进行留言回复!!

相关文章:

验证码:
移动技术网