Pentaho的更新/插入

Question

我想有一個Pentaho的設置，其中：

1. 我的源數據是MySQL數據庫和目標數據庫是亞馬遜的紅移。

2. 我希望在Redshift數據庫表上有增量加載，這取決於MySQL數據庫表中上次更新的時間戳。

主鍵是學號。

我可以在Pentaho中使用更新/插入來實現嗎？

Answer 1

Pentaho數據集成中的插入/更新步驟用於插入行，如果該行不存在於目標表中或更新它（如果已存在）。它與增量加載無關，但如果您的加載應該基於某種更改數據捕獲機制插入或更新記錄，那麼這是過程結束時的正確步驟。

例如，你可以去的方式有兩種：

• 如果你有一個CDC則限制在表輸入數據的MySQL，因爲你已經知道上一次的紀錄已被修改（最後負載）
• 如果沒有CDC，你是比較完整的表格，然後去參加了集生產已更改的行，然後執行負載（較慢溶液）