答:Hadoop 是一个由 Apache 基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。
答:Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统(HDFS)。HDFS 是一种数据分布式保存机制,数据被保存在计算机集群上。数据写入一次,读取多次。
如果数据刚好满足HDFS不适合的情况可以考虑使用HBase进行保存处理,比如低延迟、小文件、易更改、结构化、少量级数据更适合使用HBase。
答:HDFS是一个主从体系架构,由于分布式储存的性质,所以集群拥有两类节点。
打印文件列表:ls命令
hadoop fs -ls hdfs:/ # 标准写法
hadoop fs -ls / # 默认HDFS系统下的根目录
hadoop fs -ls /package/test/ #打印HDFS系统下指定的子目录
上传文件、目录:put、copyFromLoal命令
# 上传新文件:
hdfs fs -put file:/root/test.txt hdfs: / #上传本地test.txt文件到HDFS根目录, HDFS 根目录须无同名文件,否则“File exists”
hdfs fs -put test.txt /test2.txt #上传并重命名文件。
hdfs fs -put test1.txt test2.txt hdfs:/ #一次上传多个文件到HDFS路径。
# 上传文件夹:
hdfs fs -put mypkg /newpkg #上传并重命名了文件夹。
#覆盖上传:
hdfs fs -put -f /root/test.txt / #如果HDFS目录中有同名文件会被覆盖
#上传文件并重命名:
hadoop fs -copyFromLocal file:/test.txt hdfs:/test2.txt
#覆盖上传:
hadoop fs -copyFromLocal -f test.txt /test.txt
下载文件、目录:get、copyToLocal命令
#拷贝文件到本地目录:
hadoop fs -get hdfs:/test.txt file:/root/
#拷贝文件并重命名,可以简写:
hadoop fs -get /test.txt /root/test.txt
#拷贝文件到本地目录:
hadoop fs -copyToLocal hdfs:/test.txt file:/root/
#拷贝文件并重命名,可以简写:
hadoop fs -copyToLocal /test.txt /root/test.txt
拷贝文件、目录:cp
#从本地到HDFS,同put
hadoop fs -cp file:/test.txt hdfs:/test2.txt
#从HDFS到HDFS
hadoop fs -cp hdfs:/test.txt hdfs:/test2.txt hadoop fs -cp /test.txt /test2.txt
移动文件:mv
hadoop fs -mv hdfs:/test.txt hdfs:/dir/test.txt
hadoop fs -mv /test.txt /dir/test.txt
删除文件、目录
#删除指定文件
hadoop fs -rm /a.txt
#删除全部txt文件
hadoop fs -rm /*.txt
#递归删除全部文件和目录
hadoop fs -rm -R /dir/
读取文件:cat、tail
hadoop fs -cat /test.txt #以字节码的形式读取
hadoop fs -tail /test.txt
创建空文件、文件夹:touchz、mkdir
hadoop fs - touchz /newfile.txt
hadoop fs -mkdir /newdir /newdir2 #可以同时创建多个
hadoop fs -mkdir -p /newpkg/newpkg2/newpkg3 #同时创建父级目录
获取逻辑空间文件、目录大小:du
hadoop fs - du / #显示HDFS根目录中各文件和文件夹大小
hadoop fs -du -h / #以最大单位显示HDFS根目录中各文件和文件夹大小
hadoop fs -du -s / #仅显示HDFS根目录大小。即各文件和文件夹大小之和
HDFS是一个分布式文件的储存系统,写入和读取方法也符合分布式数据储存的逻辑。在Haddoop内对HDFS数据的上传、移动、删除、复制、新建基本与Linux操作相同,因此学习成本会很低。
本文地址:https://blog.csdn.net/Kingsleyandher/article/details/107380412
如对本文有疑问, 点击进行留言回复!!
网友评论