多維數據集進程增量1分區vs多個

Question

我有一個處理時間過長的大型多維數據集。我想更改我的多維數據集分區和處理選項。我明白過程增量會將新記錄拉入多維數據集。我的問題是，是否有多個分區和執行流程增量的優勢，而不是隻有一個分區和執行流程增量？我不希望每次處理時都有大量的新記錄。

Answer 1

擁有多個分區的優點是可以並行加載到每個分區。如果新記錄的數量不是很大，並且處理時間很快，那麼只需一個分區即可擺脫。

有多個分區的問題是您將不得不管理哪些數據暴露給每個分區。如果將相同的數據處理成多個分區，那麼您將在該多維數據集中得到重複數據。