0
我正在使用Apache Spark Streaming使用TCP連接器來接收數據。 我有一個連接到傳感器的python應用程序，並創建一個等待Apache Spark連接的TCP服務器，然後通過這個套接字發送json數據。加入流Apache Spark
我該如何設法加入許多獨立傳感器源，以便將數據發送到Apache Spark上的相同接收器？
A
回答
0
看起來好像您需要面向消息的中間件（MOM）或一個kafka集羣來處理實時數據饋送。您的消息製作者可以發送到kafka主題，並且Spark流可以從該kafka主題接收。這樣你可以分離你的製作者和接收者。 Kafka可以線性擴展並使用它與火花流kafka-帶反壓的直接流方法可以爲您提供良好的故障恢復彈性。 如果您選擇另一個MOM，您可以使用基於火花接收器的方法和聯合多個流來擴展它
相關問題
- 1. Apache Spark流和Spring XD流
- 2. 使用Apache Spark/Spark SQL加入文件
- 3. apache spark結構化流式傳輸
- 4. Logstash或Elasticsearch與Apache Spark流的集成
- 5. Apache Spark從文件夾流（不是HDFS）
- 6. PySpark直接卡夫卡流（Apache Spark 1.6）
- 7. 從Amazon SQS提供Apache Spark流？
- 8. apache spark流kafka集成錯誤JAVA
- 9. Kafka和apache Spark串流集羣配置
- 10. Apache Spark FileNotFoundException
- 11. Apache Spark SQL NumberFormatException
- 12. 'where'in apache spark
- 13. Apache Spark mapPartitionsWithIndex
- 14. apache spark集羣
- 15. Apache Spark配置
- 16. Apache Spark GraphX java.lang.ArrayIndexOutOfBoundsException
- 17. apache spark Streaming error
- 18. 從apache spark讀取/寫入dynamo db
- 19. Left反加入Spark？
- 20. Spark：加入數組
- 21. 通用類型RDD的Apache Spark加入/ cogroup
- 22. 在Apache Spark中添加RDD值（總和）
- 23. Spark Apache源代碼
- 24. apache spark中的sortbykey
- 25. Apache Phoenix vs Hive-Spark
- 26. Apache SPARK與SQLContext :: IndexError
- 27. Apache Spark的分區
- 28. java.lang.NoClassDefFoundError：org/apache/spark/deploy/SparkSubmit
- 29. 基於密鑰加入流式傳輸 - Spark/Kafka
- 30. 如何通過Spark流和Apache水槽將Kafka主題加載到HDFS
請參閱[如何詢問堆棧溢出]（https://stackoverflow.com/help/how-to - 問），並參觀 – Prasad