当前位置： 移动技术网 > IT编程>数据库>其他数据库 > 安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)

2020年04月24日  | 移动技术网IT编程  | 我要评论

正义红师 全集,running man e106,李浩宁大家伙巨牌图片

 

1. java

  • 下载java 1.8 64位版本. 如果不是64位java，在启动资源节点管理器时会出现错误
  • java 安装自选目录, 必须是中间不带空格的目录结构：比如 c:\java64 
  • 安装完成后，使用“java -version”命令在命令行中确认运行了正确的版本

　　

c:\users>java -version
java version "1.8.0_251"
java(tm) se runtime environment (build 1.8.0_251-b08)
java hotspot(tm) 64-bit server vm (build 25.251-b08, mixed mode)

 

2. winrar/7-zip

  • 下载并安装winrar 64位版本，用来解压windows上的linux类型tar.gz包： 
  • 或者使用7-zip：

 

3. hadoop

  • 解压并将文件夹名重命名为hadoop，并将其放在c:\learning
  • 目录名字中间不要有空格(因为hadoop初始开发基于linux， linux 文件名字不能有空格)。

 

3. 1 setup environmental variables

 

 

添加以下目录到path变量:

 

 

 

3.2 edit hadoop configuration

注意：如果你不想自己配置下面 3.2 过程， 除了3.2.3 其它的步骤可以忽略， 那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（ ）, 然后从3.2.3 开始继续！

 

3.2.1 新建data 目录和子目录 

  • c:/learning/hadoop/data
  • c:/learning/hadoop/data/namenode
  • c:/learning/hadoop/data/datanode

 

3.2.2 修改 hadoop 配置文件

  • hdfs服务地址
a) c:\learning\hadoop\etc\hadoop\core-site.xml

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

 

  •  加入如下内容到mapreduce 框架设置文件
b)  c:\learning\hadoop\etc\hadoop\mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

 

  • 添加namenode 和 datanode 目录设置
c) c:\learning\hadoop\etc\hadoop\hdfs-site.xml

<configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
      <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///learning/hadoop/data/namenode</value>
  </property>
      <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///learning/hadoop/data/datanode</value>
  </property>
</configuration>

 

  •  添加如下内容到yarn配置文件
d:\learning\hadoop\etc\hadoop\yarn-site.xml

<configuration>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///c:/learning/hadoop/tmp</value>
    </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>

</configuration>

 

  • 设置 java_home 目录到 hadoop-env.cmd. 文件第一行。
  
e) c:\learning\hadoop\etc\hadoop\hadoop-env.cmd
显性设置java_home
set java_home=c:\java64

 

3.2.3 下载配置windows 环境需要的库文件

  • 1. 安装 visual c++ 2010 redistributable package (x64)： 
  • 2. 把 winutils.exe 等 windows 需要的文件放到 c:\learning\hadoop\bin 下面。
　　　　下载  下面的bin 直接覆盖c:\learning\hadoop\bin。 
  • 3. 把里面的 hadoop.dll  拷贝到 c:\windows\system32 一份

 

3.3 启动hadoop 

3.3.1 格式化 hadoop namenode：

>hdfs namenode -format
 log on scren when run successfully:
20/04/19 10:40:13 info common.storage: storage directory \learning\hadoop\data\namenode has been successfully formatted.
20/04/19 10:40:13 info namenode.fsimageformatprotobuf: saving image file \learning\hadoop\data\namenode\current\fsimage.ckpt_0000000000000000000 using no compression
20/04/19 10:40:13 info namenode.fsimageformatprotobuf: image file \learning\hadoop\data\namenode\current\fsimage.ckpt_0000000000000000000 of size 320 bytes saved in 0 seconds .
20/04/19 10:40:13 info namenode.nnstorageretentionmanager: going to retain 1 images with txid >= 0
20/04/19 10:40:13 info namenode.namenode: shutdown_msg:

 

 

3.3.2 启动 hadoop 所有的服务：

  • 要用管理员身份运行，四个service窗口会打开运行， 包括hdfs 的数据节点 和 yarn 管理器服务进程 
c:\learning\hadoop\sbin\start-all.cmd

 

3.4 open hadoop gui

  • 完成以上步骤后，打开浏览器，导航到: ， 这里可以查看job的运行情况 log 信息。

                                   

 

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网