如何将文件从HDFS复制到本地文件系统

如何将文件从HDFS复制到本地文件系统。文件下没有文件的物理位置，甚至目录也没有。我如何将它们移到我的本地进行进一步的验证。我已通过winscp尝试过。

1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
3. 将您的Web浏览器指向HDFS WEBUI（namenode_machine:50070），浏览到要复制的文件，向下滚动页面，然后单击下载文件。

在Hadoop 2.0中，

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

哪里，

• hdfs_input_file_path 也许从 http://<<name_node_ip>>:50070/explorer.html

• output_path 是文件要复制到的本地路径。

• 您也可以get代替copyToLocal。

为了将文件从HDFS复制到本地文件系统，可以运行以下命令：

hadoop dfs -copyToLocal <input> <output>

• <input>：要复制的HDFS目录路径（例如/ mydata）
• <output>：目标目录路径（例如〜/ Documents）

您可以通过这两种方式来完成。

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

例如：

我的文件位于/sourcedata/mydata.txt中， 我想在此路径/ user / ravi / mydata中将文件复制到本地文件系统

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/

如果您的源“文件”分散在同一个目录树中的多个文件中（可能是map-reduce的结果），则可以使用以下命令将其复制到本地文件中：

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination

这对我的Ubuntu虚拟机实例很有效。

hdfs dfs -copyToLocal [hadoop目录] [本地目录]

如果您使用的是docker，则必须执行以下步骤：

1. 将文件从hdfs复制到namenode（hadoop fs -get output / part-r-00000 / out_text）。“ / out_text”将存储在名称节点上。

2. 通过（docker cp namenode：/ out_text output.txt）将文件从namenode复制到本地磁盘

3. output.txt将存在于您当前的工作目录中

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path