55 gig - 逗號分隔的文件 - 讀入mysql DB

Question

有關如何打開此文件的任何想法？

我沒有選擇這個文件的大小。

其正常的文字數據

我不能分手的原因，該文件是因爲它是遠程存儲和我唯一能做的就是在其上運行的SQL語句

請幫助！

Answer 1

對於Windows，有一個名爲「thegun」的真正舊應用程序，可以打開任何大小的文件。在linux/mac下你可以使用更少的/ head/tail，甚至可以使用「dd」。

Answer 2

你有什麼協議可用於打開文件？

55G文件聽起來不太糟糕，你可以下載它並在本地處理它嗎？

很明顯，如果數據提供者製作更小的文件會更好;一個非常大的文件很難處理。

我可能會建議使用rsync（如果可以的話），因爲如果傳輸失敗（如果它來自遠程站點，我將花費幾個小時）。

這些文件生成的頻率如何？你可以讓派生它們來創建三角洲嗎？這可能是一個更好的方法來處理它（假設數據並非每次都是全新的）

Answer 3

您是在尋找LOAD DATA INFILE？

Answer 4

一旦你下載了這個文件，你可能會考慮將它分成更易於管理的塊。當然，你最終可能會有100個文件，當然，還有文件中間分割的風險，但是，嘿，這是一個選項！

快速搜索通過分步說明獲得以下鏈接here。該鏈接提到它支持分裂非常大的文件（> 4GB），這引起了我的注意。