HDFS命令行接口/文件系统的基本操作

作者: admin 分类: Hadoop 发布时间: 2018-03-06 14:02  阅读: 404 views

针对HDFS的命令行接口有两种方式

  • hdfs dfs -ls   针对当前环境的文件系统的环境,进行查看处理。
  • Hadoop fs:使用面最广,可以操作任何文件系统。

hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。
Following are the three commands which appears same but have minute differences
hadoop fs {args}
hadoop dfs {args}
hdfs dfs {args}


hadoop fs -help

获取每个命令的详细帮助文件

hadoop fs -copyFromLocal input/docs/test.txt hdfs://localhost/user/xxx/test.txt
将本地文件系统的一个文件复制到HDFS
可以简化命令,省略hdfs://localhost/ 因为该项已经在core-site.xml中指定


hadoop fs -copyFromLocal input/docs/text.txt /user/xxx/test.txt
也可以使用相对路径,将文件复制到HDFS中, /user/xxx


hadoop fs -copyFromLocal input/docs/test.txt test.txt
hadoop fs -copyToLocal test.txt test.copy.txt

将HDFS系统中的文件拷贝到本地系统中


hadoop fs -put c:\hadoop\test.txt /user/deathearth/input  
将本地文件系统的一个文件上传到hdfs文件系统中


hadoop fs -mkdir books 
创建HDFS目录


hadoop fs -ls
查看HDFS文件列表


hadoop fs -ls file:///
列出本地文件系统根目录下的文件


hadoop distcp hdfs://namenode1/foo  hdfs://namenode2/bar
把第一个集群/foo目录以及内容复制到第二个集群的/bar目录下,第二个目录结构是/bar/foo


hadoop archive -archiveName files.har /my/files/my
归档文件,第一个选项是存档文件的名称,总以.har为扩展名。后面是需要存档的文件。(不足:每新建一个存档文件或创建原始文件的一个副本,至少需要与要存档的文件容量相同大小的磁盘空空间。)


   原创文章,转载请标明本文链接: HDFS命令行接口/文件系统的基本操作

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注

更多阅读