如何在MapReduce Job中通過python掃描HBase？

我的mapreduce作業程序是由python寫的，我想從HBase獲取數據作爲輸入。有沒有辦法以MapReduce的方式掃描HBase表中的數據，比如本地Java實現中的TableMapper/Reducer。我瞭解到HappyBase可以提供一種與HBase交互的簡單方法，但它僅適用於客戶端。如何在MapReduce Job中通過python掃描HBase？

來源

2013-04-03 homegis

您可以編寫一個腳本豬從HBase的獲取數據，然後通過兩種整合streaming蟒蛇或者，如果你使用的Jython，通過UDFs

來源

2013-04-03 17:06:53

謝謝。我現在想到另一種方式：在java MapReduce中調用python程序。在處理過程中哪種方式更高效？ – homegis

如果你寫一個完全調優的map-reduce比Java更好，但是在大多數情況下，一個豬腳本（或者其他像級聯，Hive等框架）會更有效率 –

如何在MapReduce Job中通過python掃描HBase？

回答

相關問題