Kettle 6.0.1.0中的「Serial Single Threaded」類型轉換引擎是什麼？

Question

我對Kettle工具非常陌生，並且找到了可以改變「轉換引擎類型」的轉換屬性。有人可以幫助我理解「轉換引擎類型」是什麼意思，如果它被選爲「串行單線程」，轉換的行爲如何改變？

Answer 1

默認情況下，PDI轉換將並行啓動所有步驟。因此，如果您有4個步驟的轉換，則每個步驟都會在行到達時處理這些行。表輸入將幾千行的第一個塊發送給Dimension查找，並立即開始查找。如果你有大量的數據，你將有4個線程連續做一些工作，並且數據行從一個線程傳遞到下一個線程。

這是正常的行爲，它是引擎的優勢之一。

但是，您可能處於一種非常大的轉換狀態，需要幾十個步驟，但每個步驟只能做很少的工作。在這種情況下，並行執行的開銷並沒有得到回報，並且最終導致許多線程不得不等待CPU時間。在這種情況下，您最好選擇一個單線程執行模型，其中所有步驟都在同一個線程中運行並且數據是串行處理的。

哪一個更好取決於您的具體使用情況，並且不能替代實際嘗試並比較它們的速度。