使用Apache的Oracle複製數據kafka

我想從我的oracle數據庫公開數據表並公開到apache kafka。技術可能嗎？以及我需要流從我的oracle表中更改數據並通知給Kafka。你知道這個用例的好文檔嗎？謝謝使用Apache的Oracle複製數據kafka

2017-02-10 promachos4

如果您只是想閱讀（選擇查詢）並推送到Kafka，那麼簡單的JDBC代碼就足夠了。但是，如果您想實時傳輸CDC（更改數據捕獲），那麼您需要某種可以使用Logminer或xstream讀取CDC的產品。 Striim（我爲Striim工作）有這樣的產品。還有其他產品，但沒有我知道的免費或開放源代碼。 Oracle的Golden Gate可以讀取kafka的GG路徑，但不確定它也可以寫入CDC。希望這是有幫助的。 – PGK

看起來像Slim以下已經回覆了或多或少一樣。 – PGK

您可以使用Kafka Connect數據導入/導出到卡夫卡。使用Kafka Connect非常簡單，因爲不需要編寫代碼。你只需要配置你的連接器。

如果沒有連接器可用並且您想提供自己的連接器，則只需編寫代碼即可。已有50多個連接器可用。

有是Oracle從合流公司的連接器（「金門」）：https://www.confluent.io/product/connectors/

來源

2017-02-10 19:56:24

你需要卡夫卡JDBC連接源連接器從Oracle數據庫加載數據。 Confluent有一個開源捆綁連接器。它已與Confluent平臺的其餘部分（包括模式註冊表）打包並測試過。使用此連接器與編寫簡單的連接器配置並啓動獨立的Kafka Connect過程或向Kafka Connect羣集發出REST請求一樣簡單。可以找到此連接器的文檔here
要將更改數據從Oracle事務數據庫實時遷移到Kafka，您需要首先使用Change Data Capture（CDC）專有工具，該工具需要購買商業許可證，如Oracle Golden Gate，Attunity Replicate，Dbvisit Replicate或Striim。然後，您可以利用它們全部提供的Kafka Connect連接器。它們全部列出here
Redbe的開源CDC工具Debezium計劃使用不依賴Oracle Golden Gate許可證的連接器。相關的JIRA是here。

來源

2017-02-11 12:44:44

嗨Slim，這是一個全面的答案。唯一我想在此添加的是Striim可以實時讀取CDC並實時寫入kafka並具有容錯功能。（正如我上面提到的，我爲Striim工作，所以我知道......- :)）。 – PGK

使用Apache的Oracle複製數據kafka

回答

相關問題