0
我有以下作業需要一個順序文件的行數。當在多個節點上運行例如4時，我得到4個不同的行數。我將如何去輸出行數只有一行。Aggregater Stage輸出不正確的行數
源 - >變壓器（這有一個空行計數） - >聚合階段 - >順序文件
任何幫助將不勝感激！謝謝！
A
回答
0
您可以將聚合器階段的執行模式設置爲Sequential（Stage-Advanced選項卡）。如果作業不處理大量數據，則可能不會遇到太多性能下降的問題。如果您處理大量數據，則將聚合器保留爲並行，然後添加另一個聚合器並將THAT設置爲順序而不是更合理
相關問題
- 1. Dijkstra執行中的輸出不正確
- 2. 不正確的輸出 - 模數不正確計算
- 3. Rails的輸出不正確
- 4. json的輸出不正確
- 5. 不正確的輸出
- 6. 的Javascript輸出不正確
- 7. 不正確的函數輸出
- 8. HashTable不輸出正確的數據
- 9. 代碼輸出不正確
- 10. ConvertTo-JSON輸出不正確
- 11. MYSQL - 輸出不正確？
- 12. RegExpr輸出不正確
- 13. 浮點輸出不正確
- 14. Process.stdout.readline（）不正確輸出
- 15. CUFFT輸出不正確
- 16. C++類輸出不正確
- 17. 文件輸出不正確
- 18. 二維數組輸出值不正確
- 19. 數據輸出流格式不正確
- 20. 不能輸出數組正確
- 21. 小時數不輸出正確
- 22. 正確的輸出
- 23. MPI運行時給出不正確的輸出
- 24. ClearCase diff中的輸入輸出錯誤。不正確的參數
- 25. 不正確的輸出使用的sizeof（）
- 26. mysql的explain輸出不正確
- 27. lstat（）st_blocks輸出的值不正確
- 28. SQL Server +不正確的TOP 1輸出
- 29. Laravel不輸出正確的字符串
- 30. 我的輸出顯示不正確
聚合器階段需要用於分組的鍵列。如果分區類型保留爲auto，則將在這些鍵列上完成數據分區。所以問題不是因爲多節點。從您的聲明中，我認爲您使用該虛擬行作爲關鍵。確保虛擬行在所有行中具有相同的值。然後只有所有的行都會進入同一分區，並且您將得到一行總行數。 – adhithiyan