Hadoop MapReduce appcache目錄

Question

我在單節點Hadoop集羣上運行MapReduce作業，但我的磁盤驅動器正在通過{HADOOP_TMP_DIR}/nm-local-dir/usercache中的企圖_ * _ spill _ * out文件完全填充/ hduser/appcache目錄

所以我的問題是：什麼是存儲在這個文件夾，我能做些什麼來限制它的大小？

謝謝！

Answer 1

在mapreduce執行過程中，如果中間數據不適合內存，則中間數據將溢出到磁盤。

但是這些中間數據將作爲mapreduce執行的最後階段的清理活動的一部分自動刪除。您不能限制大小，而是可以指定更多的分區而不是指定一個分區。 mapreduce.map.sort.spill.percent可以增加到0.90，以儘量減少溢出百分比，但是在單個節點中這會造成內存問題。

Answer 2

如果您使用VMware或任何其他工具在Linux上配置了Hadoop。請從工具設置中增加你的RAM並嘗試sachinjose提供的步驟。這可能會破壞你的問題。