2016-02-29 127 views
2

這是關於卡夫卡和一個非常基本的問題,消息是如何消耗掉,但我沒能找到這個點的任何答案,遺憾的是:'(當消費者的分區多於消費者時,卡夫卡消息如何消耗?

比方說,我想通過劃分了一下,所以我會。得到比消費者多10倍的分區,因爲我希望能夠擴展(在未來並行處理更多消息),因此需要超過分區

1個主題被100個消費者消費的1000個分區分成= - >得到分配的10個分區

我的問題是:

  • 消息如何爲每個消費者消費:它是以循環方式完成的嗎?如果不是,分配如何完成?

  • 是否有任何保證消息將在消費者被分配到的10個分區之間平均消費?是否有風險,一些分區永遠不會消耗?

我在這一點上找不到任何答案。對不起,如果它是重複的!

回答

1
  • 消息的消耗是在分配給消費者的一組分區之間以循環方式完成的。

  • 不,不保證消息將在分區之間平均消耗。在對KIP-41的文檔,你可以看到一個explanation這是如何將工作時,你可以指定信息

+0

我有一些麻煩,以瞭解如果尚未或未實現的數目。你知道嗎? –

+0

KIP-41將在0.9.1的下一個版本中提供,但我給你的其餘解釋仍然有效。 – Nautilus

+0

非常感謝您的回答和您的研究工作! –