-3
我有一個1 TB的單一本地目錄。它由數百萬個非常小的文本文件組成。如果我要依次遍歷每個文件以獲得ETL，那將需要幾天時間。對我來說，在這些數據上執行ETL最快的方式是什麼，最終將它加載到像hdfs或redis集羣這樣的分佈式存儲上？將本地文件系統上的大量數據放入分佈式存儲的最快方法是什麼？
A
回答
0
一般情況下：嘗試使用多個/許多並行異步流，每個文件一個。有多少將取決於幾個因素（目標端點的數量，用於遍歷/讀取數據的磁盤IO，網絡緩衝區，錯誤和延遲......）
相關問題
- 1. 將大量數據從內存寫入文件的最快方法是什麼？
- 2. 什麼是存儲大量文本數據的最佳方式？ Mysql/Json文件？
- 3. 將數據從Hadoop DFS傳輸到本地文件系統的最快方式是什麼？
- 4. 將結果集數據放入文本文件的最佳方式是什麼？
- 5. 什麼是分佈式平臺，上下文，嵌入式系統？
- 6. 將大量記錄插入SQL Server數據庫的最快方法是什麼？
- 7. 什麼是輸出大量數據的最快方式？
- 8. Android中處理大量數據的最快方式是什麼？
- 9. 將大量數據集上傳到appengine的最快方法是什麼？
- 10. 將媒體文件存儲在數據庫上的最佳方式是什麼？
- 11. 翻譯大量文本數據的最佳方法是什麼？
- 12. 將python腳本放入系統托盤的最簡單方法是什麼（Windows）
- 13. 將大型數據集導入數據庫的最快捷方式是什麼？
- 14. 在RichTextBox中存儲ascii文件的文本的最快方法是什麼？
- 15. 在iphone上本地存儲數據的最佳方式是什麼？
- 16. 什麼是將庫存儲到本地文件系統上的文件夾的Mercurial hg克隆語法
- 17. 在實時系統上保存緩存數據的最佳方式是什麼？
- 18. .net最快的分佈式緩存解決方案是什麼？
- 19. 在iPhone上寫大文件的最快方法是什麼？
- 20. 存儲大量文本數據的最佳方法？
- 21. 將數據插入Oracle表的最快方式是什麼？
- 22. 什麼是簡單合併文件的最快捷方式，什麼是分割數組的最快捷方式？
- 23. 存儲增量下載數據的最佳方式是什麼？
- 24. 將大型數據保存到文件的最快方法
- 25. 將文本文件導入數據庫的最快方法
- 26. 將文件上傳到Akamai的最快方式是什麼？
- 27. 存儲傳入流數據的最佳方式是什麼？
- 28. 將數據保存到文件的最佳方式是什麼？
- 29. 在ASP.NET中，將上傳的文件存儲到關係數據庫還是放入文件系統會更好？
- 30. 在文本文件中寫入大量數據的最快方法Java
請您提供更多的細節，例如您正在使用的ETL工具，你想要做什麼樣的操作來做什麼你的文本文件。 – techprat