当前位置: 移动技术网 > 科技>人工智能>云计算 > Hadoop1.x了解

Hadoop1.x了解

2018年02月23日  | 移动技术网科技  | 我要评论

这里写图片描述

名称节点(NameNode)


简介

维护这存储在HDFS上的所有文件的元数据信息(内存元数据:包含DataNode上块的映射信息)
[DataNode]:数据节点,是分布式文件系统HDFS的工作节点,负责数据的存储和读取。

管理分布式文件系统的命名空间(Namenode)————[文件系统文件目录的组织方式]

保存了两个核心的数据结构,即FsImage 和 EditLog

FsImage

用于维护文件系统树以及文件树种所有的文件和文件夹的元数据(内存元数据:包含datanode上块的映射信息)

Editlog

记录了所有针对文件的创建、删除,重命名等操作。

第二名称节点(Secondary Namenode)


简介

不是名称节点的热备份 为了解决EditLog逐渐变大带来的问题

作用:
(1)完成EditLog与FsImage的合并操作,减小EditLog文件大小,缩短名称节点重启时间
(2)作为名称节点的”检查点”,保存名称节点中的元数据信息。

数据节点(DataNode)


简介

是分布式文件系统hdfs的工作节点,负责数据的存储和读取,会根据客户端或者名称节点的调度来进行数据的存储和检索,并且向名称节点定期发送自己所存储的快列表。

作业跟踪器(JobTracker)


简介

负责一个任务的整个执行过程。
调度各个子任务(Mapper任务和Reducer任务各自的子任务)到各自的计算节点运行,时刻监控任务运行和计算节点的健康状况,对失败的子任务重新调度执行

任务跟踪器(TaskTracker)


简介

运行在各个数据节点上,用来启动和管理各个Map/Reduce任务。与作业跟踪器进行通信。

如对本文有疑问, 点击进行留言回复!!

相关文章:

验证码:
移动技术网