使用kafka mirrormaker時的巨大延遲

Question

我已經設置了一個MirrorMaker集羣，它消耗來自世界各地的集羣的主題。

問題是鏡像羣集（位於歐盟）和源羣集（位於美國）之間的延遲會造成偏移滯後的大幅上升。

鏡像消耗9個主題，每個主題由24個分區組成。

鏡像設置

/opt/kafka/bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config /opt/kafka/config/us1.consumer.properties --num.streams 48 --producer.config /opt/kafka/config/glb.producer.properties --whitelist="a,b,c,d,e,f,g,h,i" 

的producer.properties設置

bootstrap.servers=localhost:9092 
acks=-1 
retries=2147483647 
client.id=us.mm.producer 
batch.size=200 
linger.ms=10 

我玩弄增加批量大小和引入靈兒嘗試和增加吞吐量，但到目前爲止，我的努力都失敗了。

工作理想的批量大小的最佳方法是什麼，並且正在引入linger.ms這種高延遲率會很有用？

道歉，如果這看起來模糊，但我是卡夫卡新手，調整服務器證明是困難的。

Answer 1

對於調諧製片設置我建議按照此滑動甲板中描述的方法起始： https://www.slideshare.net/JiangjieQin/producer-performance-tuning-for-apache-kafka-63147600

然而，由於反射鏡製造商目標羣集在運行過程中，我懷疑是瓶頸可能是從源消耗集羣（美國 - >歐盟），如果我的理解正確，不會產生與鏡像製造商共處的目標集羣。