我可以設置高於2GB的任務內存限制嗎

Question

Hadoop map-reduce配置提供了mapred.task.limit.maxvmem和mapred.task.default.maxvmem。根據the documentation，這兩個值都是long類型的值，以字節爲單位，它表示與任務關聯的默認/較高VMEM任務限制。在這種情況下，「長」的含義似乎是32位，設置值高於2GB可能會導致負值被用作限制。 我在64位系統上運行，2GB比我想實施的低很多。

有沒有辦法解決這個限制？

我使用Hadoop版本0.20.1

Answer 1

長期在這種情況下指的空間來存儲設置不能夠解決實際內存量所需的量。因此，您可以使用最小值-9,223,372,036,854,775,808和最大值9,223,372,036,854,775,807（含）。但是，無論如何，通常一個long代表64bi​​ts的數據。