我要评论hadoop配置中的一些问题总结。
在hadoop2.7中mapred-site.xml.template 可不修改为mapred-site.xml
DataNode未启动
主要原因是因为在重新格式化namenode时上次的临时文件还保留导致版本号不一样，建议重新比较主节点与各个子节点中的hadoop/tmp/dfs/data/current/VERSION中clusterID、datanodeUuid是否一致，不一致修改成一致；或者直接将tmp临时文件删除，重新格式化namenode
hadoop中nodemanager未启动
在正常启动hadoop的时候系统没有报错，但是jps查看进程的时候发现缺少了nodemanager，查看后台的日志进程···
问题：发现如下错误：FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager?
from? hadoop22 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to theNodeManager.其实就是yarn-site.xml配置有点问题。nodemanager要求的内存最低1024MB
解决方法：更改yarn-site.xml的配置文件（如下）
? ?
? ? ? ?
? ? ? ?
? ?
? ?
? ? ? ?
? ? ? ?
? ?
注解：
yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
yarn.nodemanager.resource.cpu-vcores
表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！
网友评论