如何在我的系統上創建類似Amazon EC2的環境？

Question

我有這個hadoop項目，其他人編碼（鏈接）。我有來源。我想在我的集羣上實現這個（基本上是3個Ubuntu機器）。但提及項目在EC2平臺上運行（使用Cloudera發行版）。

那麼，我應該在我的系統上安裝什麼，以使其具有運行這樣的項目的軟件？

我想到了Oracle Java的Cloudera Manager。

Answer 1

如果該項目與cloudera發行（不與EMR），您可以安裝cloudera，它應該沒事。只有角落我可以預料會有問題 - 如果s3被用作文件系統。
如果該項目確實對s3有效，你有兩種方法：
a）嘗試將s3替換爲hdfs和所有文件名/路徑，並且它也應該正常工作（如果它們是硬編碼的）。
b）安裝OpenStack的Swift，它是S3的開源替代品，然後嘗試在其上運行Hadoop。披露：我參與了在Swift上運行hadoop的項目。 https://github.com/Dazo-org/swift