升級卡夫卡客戶從0.8.2.0到0.11.0.0

Question

目前，在我的公司，我們正在遷移從卡夫卡0.8至0.11，經紀人遷移步驟，並明確卡夫卡文檔here

什麼我陷在是，升級中陳述客戶端（生產者，消費者，火花流），我沒有找到任何文檔/文章清楚地列出了需要的更改或步驟來跟隨客戶端，我發現的所有內容是java doc Producer Client

我到目前爲止所做的是將我的gradle中的kafka客戶端版本更改爲kafka-clients-0.11.0.0，並且從彙編角度來看，沒有任何c完全改變。

我尋求的幫助是，是否有任何預期的問題我應該照顧，任何客戶端更改指針除了kafka客戶端版本？

Answer 1

我經歷了大量的實驗才得以完成。

對於消費者和生產者，我只使用了卡夫卡消費者和生產者0.11.0。

技巧部分取代火花流，火花流最新版本只支持up to kafka 0.10.X，它不包含任何有關新代理的更新。

我在這裏推薦，如果你準備從頭開始編寫應用程序，而你的主要目標是實時流式傳輸，那麼只需要真棒！如果你已經有了Spark應用程序（這是我的案例），你應該判斷哪一個比其他哪個更重要，以阻止kafka-broker版本10.X和spark-streaming，它是[experimental][1] btw。

內部具有卡夫卡流的好處不會引發如下：

1. 卡夫卡流是正常的罐子，可以在任何Java應用程序被注入，這樣你就不會那麼在意部署中，和環境
2. 與使用HDP羣集縮放不同，使用任何雲服務提供商提供的任何縮放集使用kafka流時，自動縮放非常簡單。
3. 使用諸如prometheus之類的東西進行監控會容易得多。