如何模擬生產羣集以測試單機中的hadoop作業

Question

我想在開發工作站上運行hadoop作業以便在投入生產之前進行測試。 hadoop中的哪種模式操作允許在使用單臺機器時最接近地模擬生產羣集。

Answer 1

我在我的vmware映像上使用僞分佈式模式在部署之前進行測試。

Answer 2

Cloudera的僞分佈式模式CDH4運行在一臺機器上。多名工人的模擬是通過命令行完成的，非常簡單！如果遵循準確的話，那麼這些文檔就是您需要閱讀的所有內容才能運行羣集。

我還沒有做任何性能測試來比較它與Chris Gerken的建議：VMware的模擬，但我不會感到驚訝，看到它更有效地運行。無論如何，因爲你只是想在Linux機器上測試它，所以我猜可以沒事的。