如何在Azure上的Azure表和Hadoop之間傳輸數據

Question

我想從Azure表導入數據，然後將其導出到Azure上的Hadoop集羣。 目前我正在將Azure表中的數據下載到.csv中，然後將.csv上傳到Hadoop集羣。我想知道是否有任何方法可以直接做到這一點。

感謝， 基蘭

Answer 1

我寫了一個HiveStorageHandler可以讓你創建蜂巢表，由Azure存儲表支持。它的問世在GitHub上：

https://github.com/simonellistonball/hive-azuretables

請注意，您還需要Microsoft Azure SDK for Java在你的Hadoop的classpath這個工作。最簡單的方法是將其安裝在/ usr/lib/hadoop/lib /等中央位置。

如果你在我的回購上做了一個mvn包，你應該得到一些東西然後加載一個配置單元ADD JAR。回購的Readme包含一個示例查詢，顯示如何創建連接到Azure的Hive表。