過濾數據庫的行

Question

我想知道kafka平臺是否適合以下工作。

我想要攝取一個完整的數據庫與多個表。一旦卡夫卡攝入，我想根據病情過濾表格。

我認爲使用Kafka流是一件容易的事情，但是被過濾器拒絕的消息會發生什麼？

如果以日期爲例，未來可能會遇到條件，那麼是否有機會再次過濾被拒絕的郵件以最終通過過濾器並進一步處理？

在給卡夫卡餵食之前過濾數據行是否更好？

謝謝。

Answer 1

你可能要考慮使用一個數據庫連接器如Debezium或匯合JDBC源連接器，其都是基於卡夫卡連接

更多關於Debezium連接器爲MySQL看到http://debezium.io/docs/connectors/mysql

更多關於匯合JDBC連接器請參閱http://docs.confluent.io/current/connect/connect-jdbc/docs/source_connector.html

使用基於Kafka Connect的連接器，您可以在使用Kafka Connect中的單一消息轉換（SMT）功能發佈到Kafka前過濾數據行。

查看關於使用Kafka Connect進行行篩選的討論Kafka connect (Single message transform) row filtering