卡夫卡從主題中讀取有限列表

Question

從卡夫卡主題中讀取有限相關記錄列表的最佳方式是什麼？例如，包含幾百條記錄的db查詢結果。我怎麼會知道「結束」？標題中有簡單的標誌？

Answer 1

對於這種用例，Kafka不是一個好的選擇。您必須記住與DB查詢相對應的消息的開始和結束偏移量，並且還必須確保這些消息進入單個分區，否則它們可能會被添加到命令以及更多狀態中以便記憶。如果您爲每個查詢使用一個專用主​​題，那會更好。卡夫卡不是一個很好的選擇，即時創建和刪除主題。

相反，對於您提到的用例，Redis列表將是更好的選擇。

Answer 2

聽起來就像你試圖查詢卡夫卡。在這種情況下，您可能想嘗試KSQL（https://github.com/confluentinc/ksql）。它允許你創建類似SQL的查詢，如SELECT * FROM mytopic WHERE regionid LIKE'％_8'或者regionid LIKE'％_9'LIMIT 100;