可以使用火花流1.5.1與卡夫卡0.10.0？

Question

我可以在kafka 0.10.0上使用spark streaming 1.5.1嗎？ 該網站spark.apache.org建議火花流應該與kafka 0.8.2一起使用;

我只是想知道，如果我用卡夫卡0.10.0火花1.5.1？

能有人幫。

Answer 1

此API spark-streaming-kafka-0-10仍處於實驗狀態。 你可以使用它。但你可能會得到一些驚喜，因爲它尚未穩定。 請按照下面的鏈接：

https://github.com/jerryshao/spark-streaming-kafka-0-10-connector

這是卡夫卡0.10連接器星火1.x的流。希望它能起作用。

Answer 2

我認爲這是可能的，但有一些限制。例如，Apache spark 1.5.x不支持在kerberized環境中的流式傳輸功能。