Apache Beam中的ParDo與FlatMap？

Question

Dataflow/Apache Beam中的ParDo和FlatMap有什麼不同？

我認爲這兩個函數都適用於傳入的PCollection的每個元素，並返回可迭代;但我想象一定有一些區別？

Answer 1

FlatMap是一個更簡單的操作built as you might expect from ParDo。如果這符合您的需求，這是一個不錯的選擇。

ParDo是具有像附加功能逐元素計算的較低級別的構建塊side inputs，multiple output collections，access to the current window，一些非常低的水平的回調之後啓動事務元件的束，以及更多。

實際上，FlatMap和ParDo的許多用途最終都有一個類似的代碼批量，但在我看來，使用最簡單（最高級別）可用的轉換最具可讀性。