我應該從Kafka ETL中抽象出技術細節嗎？

Question

將ERP（或可能帶有複雜的技術數據模型的任何其他「標準軟件」）作爲kafka系統源的最佳實踐是什麼？

您是否建議使用該源數據庫中的視圖來隱藏這些技術細節？不確定，如果一個視圖可以「觸發」Oracle的JDBC源連接器內的複製。

我能想到的另一種方式是使用Stream API將kafka中的所有這些表「加入」。這樣，源數據庫系統不用於執行「ETL連接」。

Answer 1

您可以先創建一個Kafka Connect源連接器（假設其中一個不存在）爲您的ERP軟件。其中，儘量隱藏處理ERP技術的複雜性。您還可以執行一些簡單的無狀態轉換，將ERP模型的具體內容抽象爲您的域模型。我的經驗告訴我這還不夠，如果複雜，輸出結果仍然會與源模型有一定的聯繫。請記住以在您的域中有意義的方式對數據進行分區。

接下來，一旦您將卡夫卡數據分區並分區良好，您可以在卡夫卡流中進行進一步處理。它們具有容錯性（即使是Kafka v0.11甚至事務型）有狀態處理能力，並且可以輕鬆地在主題之間進行連接。