3v:volume、velocity、variety(结构化和非结构化数据)、value(价值密度低)
大数据带来的技术挑战
hadoop发展简史
hadoop简介
hadoop核心
hadoop特性
hadoop生态系统
主要流程
sudo useradd -d /home/zhangyu -m zhangyu sudo passwd zhangyu sudo usermod -g sudo zhangyu su zhangyu ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys ssh localhost
sudo mkdir /apps sudo mkdir /data sudo chown -r zhangyu:zhangyu /apps sudo chown -r zhangyu:zhangyu /data
mkdir -p /data/hadoop1 cd /data/hadoop1 wget java wget hadoop tar -xzvf jdk.tar.gz -c /apps tar -xzvf hadoop.tar.gz -c /apps cd /apps mv jdk java mv hadoop hadoop
sudo vim ~/.bashrc export java_home=/apps/java export path=java_home/bin:$path export hadoop_home=/apps/hadoop export path=hadoop_home/bin:$path source ~/.bashrc java hadoop
cd /apps/hadoop/etc/hadoop vim hadoop-env.sh export java_home=/apps/java vim core-site.xml //追加 <property> <name>hadoop.tmp.dir</name> //临时文件存储位置 <value>/data/tmp/hadoop/tmp</value> </property> <property> <name>fs.defaultfs</name> //hdfs文件系统的地址 <value>hdfs://localhost:9000</value> </property> mkdir -p /data/tmp/hadoop/tmp vim hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> //配置元数据信息存储位置 <value>/data/tmp/hadoop/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> //具体数据存储位置 <value>/data/tmp/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> //配置每个数据库备份数,要根据节点数决定 <value>1</value> </property> <property> <name>dfs.permissions.enabled</name> //配置hdfs是否启用权限认证 <value>false</value> </property>
vim slaves //将集群中的slave角色的节点的主机名添加经slaves文件中 //目前只有一台节点,所以slaves文件内容只有localhost
hadoop namenode -format
cd /apps/hadoop/sbin/ ./start-dfs.sh jps hadoop fs -mkdir /myhadoop1 hadoop fs -ls -r /
cd /apps/hadoop/etc/hadoop/ mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <property> <name>mapreduce.framework.name</name> //配置mapreduce任务所使用的框架 <value>yarn</value> </property>
vim yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> //指定所用服务器 <value>mapreduce_shuffle</value> </property> ./start-yarn.sh
cd /apps/hadoop/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar pi 3 3
mkdir -p /data/hadoop3 cd /data/hadoop3 wget http://192.168.1.100:60000/allfiles/hadoop3/hadoop-eclipse-plugin-2.6.0.jar cp /data/hadoop3/hadoop-eclipse-plugin-2.6.0.jar /apps/eclipse/plugins/
window->open perspective->other 选择map/reduce 点击condole右上角蓝色的大象添加相关配置
cd /apps/hadoop/sbin ./start-all.sh
开启、关闭hadoop
cd /apps/hadoop/sbin ./start-all.sh cd /apps/hadoop/sbin ./stop-all.sh
命令格式
hadoop fs -命令 目标 hadoop fs -ls /user
查看版本
hdfs version hdfs dfsadmin -report //查看系统状态
目录操作
hadoop fs -ls -r / hadoop fs -mkdir /input hadoop fs -mkdir -p /test/test1/test2 hadoop fs -rm -rf /input
文件操作
hadoop fs -touchz test.txt hadoop fs -put test.txt /input //把本地文件上传到input文件加下 hadoop fs -get /input/test.txt /data //把hadoop集群中的test文件下载到data目录下 hadoop fs -cat /input/test.txt hadoop fs -tail data.txt //同cat hadoop fs -du -s /data.txt //查看文件大小 hadoop fs -text /test1/data.txt //将源文件输出为文本格式 hadoop fs -stat data.txt //返回指定路径的统计信息 hadoop fs -chown root /data.txt //改变文件所有者 hadoop fs -chmod 777 data.txt //赋予文件777权限 hadoop fs -expunge //清空回收站
模式切换
hdfs dfsadmin -safemode enter hdfs dfsadmin -safemode leave
如对本文有疑问, 点击进行留言回复!!
网友评论