使用akka流vs spark流進行流處理的優點/缺點是什麼?比如,建立在背壓,性能,容錯,內置轉換,靈活性等方面。我不是要求akka與火花利弊嚴格流組件。另外我不會在引擎蓋框架結構上有所不同。Akka Stream vs Spark Stream
5
A
回答
2
阿卡流和Spark流來自2個不同的土地。不要讓這個詞「流」混淆你。
Akka流實現了一些被稱爲被動聲明的東西,它非常適合實現真正的低延遲,並且提供了很多運算符來輕鬆地在流中編寫聲明式轉換。更多關於這個https://doc.akka.io/docs/akka/2.5.4/scala/stream/stream-introduction.html#motivation。
從2.2開始的Spark Streaming aka結構化流仍然是處理大量數據(大數據)的微批處理方法。事件被收集起來,然後每隔幾秒鐘小批量處理一次。
Akka流基本上不是分佈式的,不會跨集羣擴展,不像Spark.Akka流使用Akka的actor模型來實現併發。
Akka流是一個工具包,Spark是一個框架。 PS:即使幾個月前我也有同樣的問題。花了一段時間纔得到我的答案。希望它有幫助。
相關問題
- 1. Akka Stream回調
- 2. Akka Stream DSL圖KillSwitch
- 3. Stream vs Raw Bytes
- 4. Marc21 Binary Decoder with Akka-Stream
- 5. 流內的Akka-Stream流
- 6. Akka Stream,來自函數?
- 7. DataSet.WriteXml(Stream)vs DataSet.WriteXml(Path)
- 8. `gulp.src` vs`vinyl-source-stream`?
- 9. 概念:Channel vs Stream
- 10. Java 8 stream vs List
- 11. Akka Stream從Spark工作內部寫入kafka
- 12. 測試組通過akka-stream-testkit
- 13. Akka Stream在流程中使用HttpResponse
- 14. Kafka Stream API vs Consumer API
- 15. BinaryWriter(Stream stream)在BinaryWriter.Dispose()上處理流嗎?
- 16. Spark Direct Stream併發作業限制
- 17. Collectors.toList()中的LongStream VS Stream的差異
- 18. 處理CryptoStream vs處理底層Stream?
- 19. Writeln to stream
- 20. OpenFlow :: Howto Stream Images
- 21. Spring Cloud Stream + Quartz
- 22. Monodroid bitmap to stream
- 23. Kinect Stream Saving
- 24. Stream Operator Overloading
- 25. Stream of short []
- 26. Spring Cloud Stream RabbitMQ
- 27. 通過從Stream
- 28. Cloudfront - Stream not Found
- 29. 當Transfermode = Stream
- 30. UWP BitmapImage到Stream
很確定Spark是建立在Akka上的,所以你的語法更加簡潔,用戶更友好,內置容錯功能(主管和其他功能),以及Spark的更多功能。如果您有更多的自定義需求,例如在單個羣集上運行具有不同參與者/流的大量不同作業,則應考慮使用Akka over Spark。否則,更多的功能可能是一件好事。這是一個更普遍的答案。 –
我相信Spark在1.5之後離開Akka。 https://issues.apache.org/jira/browse/SPARK-6602 –