如何防止將空的Avro文件提交到HDFS？

Question

我有一份工作可以創建一個Avro文件到HDFS中，並在文件中添加數據。然而，偶爾不會有任何數據需要追加，在這種情況下，我不希望應用程序刷新和關閉文件，而是應該檢查文件是否爲空（但我假設Avro模式將被寫入頭部在技術上不是空文件），如果文件爲空，則刪除該文件。

Avro + HDFS lib可行嗎？

Answer 1

指定作業的輸出格式時，請嘗試使用LazyOutputFormat。它會懶散地創建輸出，這意味着只有輸出存在時纔會創建輸出文件。

因此，不要寫這樣的東西： job.setOutputFormatClass（TextOutputFormat.class）;您可以像這樣使用LazyOutputFormat來代替： LazyOutputFormat.setOutputFormatClass（job，TextOutputFormat.class）;