需要擺脫HDFS中的part-m-0000 *文件

Question

在使用part-m-0000 *這樣的名稱創建每個作業空文件之後的HDFS處理中。這些文件中的每一個都是空的，但它們佔用了64MB的磁盤空間，因爲這是塊的默認大小。

需要更改代碼以跳過這些文件的創建。我該怎麼做呢？

注：我使用org.apache.hadoop.mapreduce.lib.output.MultipleOutputs<KEYOUT,VALUEOUT>寫輸出記錄，並沒有上下文，所以我反正與輸出記錄在像「成功-M-00000」等

Answer 1

文件最終按照Hadoop : The Definitive Guide，所以如果文件爲空，則底層文件系統將不會佔用HDFS塊大小。

與單個磁盤的文件系統不同，HDFS中小於單個塊的文件不佔用完整塊的底層存儲空間。

要抑制輸出文件，如果它們爲空，請使用LazyOutputFormat#setOutputFormatClass。這裏是Apache documentation相同。