2011-12-14 117 views
6

我是這個主題的新手。我決定爲我的項目開發Java中的雲數據處理應用程序的並行處理框架。該框架必須劃分給定的順序Java代碼並在雲中的不同虛擬機中處理該子代碼。框架必須根據負載動態分配和釋放資源。我的問題是如何開發框架。java中的並行處理框架

是否有任何庫可用於將Java代碼安排到雲中的不同虛擬機中?請告訴我是否有任何事情可用。

+0

有趣的是,我一直在試圖建立一個。 我已經有了一個使用普通簡單shell腳本和python(結構)編寫的並行處理框架。我不確定這是否有幫助。 Hadoop或風暴更多是分佈式處理和實時/批量數據的聚合。 我特別尋找基於Java的並行處理框架,因爲有一些額外的依賴關係在Java中。至少,我正在尋找能夠幫助我構建真正令人尷尬的並行處理架構的Java模塊。 – user1652054 2015-01-13 10:16:45

回答

1

看看Hadoop,這個框架允許基本相同的事情,並支持在集羣上自動部署代碼。

4

TerracottaGridgain是優秀的解決方案。那些被yerlikayaoglu(Hadoop和hazelcast)引用的領域在他們的領域也非常出色,但它們都是4個非常不同的,並且取決於用例。這是爲了映射/減少的問題

另一個是虛擬機的分配/解除分配。這取決於您的雲提供商和其他一些事情。你可以看看jClouds

0

如果你想做實時處理,你可以看看storm。 另外Akka爲scala和java提供了很好的遠程參與者API。