從邊緣設備到HDFS獲取平面數據文件和過程

我有一個用例，車輛上的設備必須將平面二進制文件發送到雲服務器，在它們進入並處理數據時將它們存儲到Hbase 。我想知道哪些數據提取框架支持從遠程設備上傳平面二進制文件，以及需要使用哪種數據處理框架來解析這些文件並將數據存儲到HBase中。請提出適合我的應用的設計。從邊緣設備到HDFS獲取平面數據文件和過程

來源

2017-08-10 Keerthi

看看https://www.confluent.io/product/connectors/匯合平臺。您可以通過kafka分發所有數據，如果需要使用kafka流處理它，並使用kafka連接器將結果存儲到HBase。

來源

2017-08-10 10:53:53 leshkin

謝謝。我的設備已經通過REST API發佈了日誌文件。卡夫卡可以直接從REST API中使用，而不需要在設備上進行任何更改？ – Keerthi

@Keerthi AFAIK你可以嘗試使用Kafka REST代理，也許它可以幫助你。否則，您可以隨時編寫您自己的REST服務，通過Kafka製作人向Kafka寫信。 – leshkin

從邊緣設備到HDFS獲取平面數據文件和過程

回答

相關問題