在沒有輸出文件的情況下運行Hadoop作業

是否可以在不指定輸出文件的情況下運行hadoop作業？當我嘗試運行hadoop作業時，沒有指定Exception的輸出文件被拋出。任何人都可以給任何使用Java的程序。在沒有輸出文件的情況下運行Hadoop作業

我正在將reduce處理的數據寫入非關係數據庫，因此我不再需要它寫入HDFS。

2012-10-03 R45c4l

您需要提供更多關於您嘗試過的內容以及您想要做什麼的信息。運行你的MR工作的目的是什麼？爲了它有意義，它將產生某種類型的輸出。它在哪裏？顯然不是HDFS。它會轉到HBase還是一些外部商店或服務？ –

對不起，我已更新我的問題。 – R45c4l

不幸的是，你不能這樣做。寫作輸出是框架的一部分。當你在框架外工作時，你基本上只需要處理後果。

您可以使用NullOutputFormat，它不會將任何數據寫入HDFS。不過，我認爲它仍然會創建文件夾。您始終可以讓Hadoop創建該文件夾，然後delete it。

2012-10-03 13:13:50

FYI NullOutputFormat不需要定義輸出文件夾，所以應該給你你需要的 –

回答