將csv文件合併到一個文件中

Question

我有一組csv文件，我想將它們合併到一個csv文件中。 ，這需要一些時間，但我沒有找到該文件中的目標路徑

hdfs dfs -getmerge /DATA /data1/result.csv 

任何幫助 感謝

Answer 1

您也可以嘗試串聯本地Linux文件FS使用

cat $DOWNLOAD_DIR/*.csv >> $CONCAT_DIR/<concatenated_filename>.csv 

然後將連接的文件放在hdfs上。

Answer 2

getmerge

用法：hadoop fs -getmerge [-nl] <src> <localdst>

取得一個源目錄和目標文件作爲輸入並連接文件的src到目標本地文件。可以將-nl設置爲允許在每個文件的末尾添加換行符（LF）。在空文件的情況下，可以使用--skip-empty-file來避免不需要的換行符。

例子：

hadoop fs -getmerge -nl /src /opt/output.txt 

hadoop fs -getmerge -nl /src/file1.txt /src/file2.txt /output.txt 

退出代碼：

則返回0，在錯誤的成功和非零。

如果一些如何它不工作，你

你可以嘗試cat命令是這樣的：（如果你的數據是不是足夠大）

hadoop dfs -cat /DATA/* > /<local_fs_dir>/result.csv 

hadoop dfs -copyFromLocal /<local_fs_dir>/result.csv /data1/result.csv