2
是否有可能從Logstash或Elasticsearch接收日誌的實時輸入流到Spark Streaming？Logstash或Elasticsearch與Apache Spark流的集成
我看到有一個內置的Flume接收器。但是任何現有的Logstash或Elasticsearch自定義接收器？
A
回答
3
可能是最好的解決方案目前似乎是使用logstash輸出插件卡夫卡，然後用火花卡夫卡接收機
http://spark.apache.org/docs/latest/streaming-kafka-integration.html
相關問題
- 1. Apache Camel與Elasticsearch集成
- 2. apache spark流kafka集成錯誤JAVA
- 3. Spark Kafka與Apache Ignite的結構化流式集成
- 4. 集成Dropwizard和Apache Spark
- 5. Spark流和卡夫卡集成
- 6. 集成elasticsearch與EclipseLink
- 7. Elasticsearch與cassandra集成
- 8. Kafka和apache Spark串流集羣配置
- 9. apache spark集羣
- 10. Apache Spark Streaming失敗的集成測試
- 11. Apache Spark流和Spring XD流
- 12. 加入流Apache Spark
- 13. Neo4j 3.1.3與Elasticsearch集成
- 14. Logstash Elasticsearch輸入流式數據插件
- 15. 從Logstash加載JSON流到Elasticsearch
- 16. 使用logstash流數據到amazon elasticsearch？
- 17. angular.js與apache kafka的集成
- 18. Subversion（svn）與Apache的集成？
- 19. 與Apache的SSO集成
- 20. 將Apache Mahout與Apache Apache集成
- 21. 將任意Java機器學習與Apache Spark集成
- 22. Logstash：在Elasticsearch
- 23. Logstash Elasticsearch壓縮
- 24. logstash和elasticsearch geo_point
- 25. logstash + elasticsearch |錯誤？
- 26. Spark結構化流媒體集成與Kinesis
- 27. Apache SPARK與SQLContext :: IndexError
- 28. 將Apache kafka與Angular.js集成
- 29. Jboss 5與Apache 2.2集成
- 30. 將Apache Wicket與Jython集成
從https://www.elastic.co/guide讀卡夫卡的話題/en/logstash/current/output-plugins.html，沒有輸出插件可以觸發。但是logstash-> kafka-> spark是可能的。你也可以編寫你自己的插件。但我很好奇，爲什麼不使用水槽？ – BAE
簡單的原因實際上是我比Log更喜歡Flume – DarVar