当前位置： 移动技术网 > IT编程>数据库>其他数据库 > hadoop 伪分布配置

hadoop 伪分布配置

2020年04月26日  | 移动技术网IT编程  | 我要评论

动员大会发言稿,型男大主厨吴青峰,造梦西游无敌版甘蔗网

配置 hadoop 伪分布式

任务配置说明:

    1. vmware 15

    2. centos 6.5

    3. java -jdk 1.8

    4. hadoop-2.6.0-cdh5.14.0.tar.gz

第一步

自行安装虚拟机

第二步 开始大配置

  1. 修改主机名和用户名

    •  vim /etc/sysconfig/network  --(将hostname=) 改为master(主机的意思)
    •  vim /etc/hosts  --(增加一行内容 ip    master)

  2. 配置静态ip

    •  vim /etc/sysconfig/network-scripts/ifcfg-eth0

      • 修改内容如下:

         device=eth0 (网卡名称)
         hwaddr=00:0c:29:63:c3:47
         type=ethernet
         uuid=7cce5090-6637-40fc-a47e-9f5e2d561b46
         onboot=yes  (必须设置 设置启动)
         nm_controlled=yes
         bootproto=static  (静态)
         ipaddr=192.168.65.21  --(你的ip)
         netmask=255.255.255.0 --(子网掩码)
         gateway=192.168.65.1  --(网关)
         dns1=114.114.114.114  --(dns)

  3. 配置ssh无密码连接

    • 关闭防火墙

      •  service iptables stop  --(仅一次性关闭防火墙  再次开机防火墙就重新开启了)
      •  chkconfig iptables off  --(永久关闭防火墙  防止重启防火墙自启动)

    • 配置 ssh

      • 安装 ssh

        •  yum install ssh

      • 安装 rsync

        •  yum install rsync

    • 启动 ssh 服务命令

      •  service sshd restart

      • 检查 ssh 是否已经安装成功 可以执行 rpm -qa | grep openssh

      • 出现 

        •  [hadoop@master ~]$  rpm -qa | grep openssh
           openssh-server-5.3p1-94.el6.x86_64
           openssh-clients-5.3p1-94.el6.x86_64
           openssh-5.3p1-94.el6.x86_64
           openssh-askpass-5.3p1-94.el6.x86_64

        • 代表成功

      • 检查 rsync 是否安装成功 可执行 rpm -qa | grep rsync

        • 出现

          •  [hadoop@master ~]$ rpm -qa | grep rsync
             rsync-3.0.6-12.el6.x86_64

          • 代表成功

    • 生成 ssh 公钥 (只可以生成当前执行用户的秘钥)

      •  ssh-keygen -t rsa  --(连续回车即可)  
      •  ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop(用户名)@master(主机名)

      • 验证 ssh master

     

    4.配置 java 环境

    • 安装 java jdk

      • 卸载初始系统存在的jdk

        • 检查 是否安装了jdk

        •  rpm -qa | grep jdk

          • 如果出现了返回值 那么使用 yum -y remove xxx(将返回值输入即可)

      • 安装 jdk (需要实现上传)

        •  tar -zxvf jdk-8u221-linux-x64.tar.gz  --(解压压缩包)

        • 修改环境配置文件

          • vim /etc/profile

            • 文件末尾添加

              • #java --(注释代表java)

                 export java_home=/home/hadoop/app/jdk1.8.0_221 --(你java安装目录)
                 export path=$path:$java_home/bin

          • 让配置文件修改后生效

            •  source /etc/profile

      • 验证 java是否安装成功 --(输入java命令即可)

        •  [hadoop@master jdk1.8.0_221]$ java

        • 如若返回一大页东西则安装成功 java -version可以查看当前java版本信息

    5.配置 hadoop 环境

    • 老样子 先解压

      •   tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz

    • 修改配置文件信息

      • 进入 hadoop 配置文件目录 cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

      • 修改 hadoop-env.sh 文件 末尾追加以下内容

        •  export java_home=/home/hadoop/app/jdk1.8.0_221
        •  export hadoop_home=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0

      • 修改 core-site.xml 文件

         <configuration>
                 <property>
                         <name>fs.default.name</name>
                         <value>hdfs://master:9000</value>
                 </property>
         </configuration>

      • 修改 hdfs-site.xml

         <configuration>
                 <property>
                         <name>dfs.replication</name>
                         <value>3</value>
                 </property>
                 <property>
                         <name>dfs.name.dir</name>
                         <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/name</value>
                 </property>
                 <property>
                         <name>dfs.data.dir</name>
                         <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/data</value>
                 </property>
         </configuration>

      • 修改 mapred-site.xml

        • 可以看到我们目录中没有mapred-site.xml 我们可以通过模板拷贝出来一个

          •  cp mapred-site.xml.template mapred-site.xml
          •  vim mapred-site.xml

        • 添加如下内容

           <configuration>
                   <property>
                           <name>mapreduce.framework.name</name>
                           <value>yarn</value>
                   </property>
           </configuration>

      • 修改 yarn-site.xml 

         <configuration>
         ​
         <!-- site specific yarn configuration properties -->
                 <property>
                         <name>yarn.resourcemanager.address</name>
                         <value>master:8080</value>
                 </property>
                 <property>
                         <name>yarn.resourcemanager.resource-tracker.address</name>
                         <value>master:8082</value>
                 </property>
                 <property>
                         <name>yarn.nodemanager.aux-services</name>
                         <value>mapreduce_shuffle</value>
                 </property>
                 <property>
                         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                         <value>org.apache.hadoop.mapred.shufflehandler</value>
                 </property>
         </configuration>

      • 修改 slaves

         master

    • 至此,hadoop 安装配置工作全部完成,为了能在任何路径下使用 hadoop 命令,还需要配置环境变量

      • 对 /etc/profile 追加如下信息

         export hadoop_home=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0
         export path=$path:$hadoop_home/bin

      • 对 环境配置文件生效

         [hadoop@master hadoop]$ source /etc/profile

    • 在第一次启动 hadoop 之前,必须对 hdfs 格式化,执行命令

       [hadoop@master hadoop]$ hadoop namenode -format

第三步

  • 启动 hadoop

    • 格式化 hadoop 完成后,便可以启动 hadoop ,不过首先我们赋予脚本可执行权限

       [hadoop@master hadoop]$ chmod +x -r /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin

    • 然后就可以启动集群了 执行启动脚本 --(进入hadoop的sbin脚本目录)

       [hadoop@master sbin]$ cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin

    • 执行脚本

       [hadoop@master sbin]$ bash start-all.sh

    • 最后检查要启动的节点是否正常启动

       [hadoop@master sbin]$ jps
       9025 datanode
       9185 secondarynamenode
       8899 namenode
       9335 resourcemanager
       9432 nodemanager
       9644 jps

    • 至此 一切完成

第四步

  • 我们可以打开浏览器查看我们的hdfs

    • 如果 linux 有浏览器可以通过浏览器地址输入 

       master:50070   --(即可访问)

    • 如果 想在windows访问 打开浏览器

       linuxip:50070
       例如我的:192.168.65.21:50070

  • 大功告成了

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网