appache hadoop
版本:2.77 jdk:1.8 系统:centos7
注意不要在root下解压,要单独建一个用户安装hadoop及其组件。
一、先查看系统是否有自带j
#dk: rpm -qa|grep java
通常是如下4个包:
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
步骤三:验证一下是还有jdk
#rpm -qa|grep java
#rpm -qa | grep jdk
#rpm -qa | grep gc
#java -version
没有内容证明已经卸载干净了
二、安装jkd&hadoop:创建hadoop安装目录:mkdir /soft
在soft下:
tar –zxvf jdk-7u80-linux-x64.tar.gz
tar -xzvf hadoop-2.7.3.tar.gz
建立符号链接:
ln –s jkd文件名 jdk
ln –s hadoop-2.7.3 hadoop
配置hadoop&jdk环境变量:
su root
vi /etc/profile
使环境变量即刻生效
source /etc/profile
回到hadoop用户,进入任意目录下,测试是否ok
java –version
hadoop version
配置hadoop:
伪分布模式:
编辑:core-site.xml
<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultfs</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
编辑:httpfs-site.xml
<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
编辑:mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板
cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
编辑:yarn-site.xml(底层)
<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置ssh:
yum list installed | grep ssh
如果没有要自行安装ssh
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
如对本文有疑问, 点击进行留言回复!!
去 HBase,Kylin on Parquet 性能表现如何?
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
如何在 HBase Shell 命令行正常查看十六进制编码的中文?哈哈~
网友评论