1. 首頁
  2. 問答
  3. 使用REST服務訪問Hadoop數據

使用REST服務訪問Hadoop數據

2016-05-12 72 views
0

我在嘗試更新HDP體系結構，以便駐留在Hive表中的數據可以通過REST API訪問。如何將數據從HDP公開到其他服務的最佳方法是什麼？使用REST服務訪問Hadoop數據

這是我最初的想法：

我存儲配置單元表中的數據，我想揭露一些通過REST API的信息，所以我覺得用HCatalog/WebHCat將是最好的解決方案。但是，我發現它只允許查詢元數據。 enter image description here

我在這裏有什麼選擇？

謝謝

來源

2016-05-12 Laurynas Stašys

+0

當你說，訪問蜂巢表，你的意思只是讀他們喜歡做'SELECT * FROM mytable'，或者你希望做很多更復雜的要求？ – user1314742

+0

我將不得不使用過濾器（即日期範圍內的過濾器數據，這意味着我必須將兩個參數傳遞給API請求 - 開始日期和結束日期） –

+0

恐怕您無法使用配置單元來實現這一點。但如果你想檢索數據，你可以使用Web hdfs REST api。作爲解決方法，您可以使用Spark，並使用spark-jobserver https://github.com/spark-jobserver/spark-jobserver – user1314742

回答

0

爲Apache的Hadoop生態系統中的REST API網關被稱爲KNOX

我會檢查它之前探索任何其他選項。換句話說，你有什麼理由避免使用KNOX？

來源

2016-05-12 12:04:06

+0

不，它只是KNOX組件當前不可用，正在努力 –

0

你運行的是哪個版本的HDP？ Knox組件已經有相當長的一段時間了，可以通過Ambari進行管理。

你能得到一個運行在HTTP模式下的HiveServer2實例嗎？ 這將爲您提供通過J/ODBC驅動程序的SQL訪問，而不需要客戶端計算機上的Hadoop配置和二進制文件（驅動程序所需的除外）。

來源

2016-05-16 12:42:59 lmccay

相關問題

 相關問題