打開大型CSV文件？

我有一個文件，我需要導入到MS-SQL數據庫，但我無法打開它，因爲我的電腦只有4 Gig的RAM ..我通常使用CSV分割器來縮小大文件，但它是不工作的文件（155場演出）打開大型CSV文件？

誰能告訴我一個方法來處理這個文件導入到數據庫中（除了購買新電腦更好的硬件）

謝謝

打開文件並一次讀取一行，並從那裏建立數據庫 – jdl

計算機在打開文件時出現問題..您可以發送您推薦的示例腳本，以便測試它嗎？ –

可能使用SSIS – RoughPlace

在這種情況下，我會建議使用SSIS（如果可能）或更簡單的小腳本PowerShell。你可以找到工作腳本here和here。

PowerShell這兩個腳本都會遍歷幾行並在將它們從內存中卸載並取出下一行之前導入它們。在最後一個鏈接中，您可以指定變量$ batchsize，它將在定義的塊中加載數據。

2015-07-04 22:27:51 Ionic

謝謝你的腳本，我會嘗試今晚，當我回家，讓你知道結果 –

流式CSV分離器會更有效率，因爲它處理文件的塊（字節），而不是在處理文件之前將整個文件加載到內存中。 node-csv會這樣做，但您需要安裝node.js才能使用它。

2015-07-04 23:02:08 itsben

如果你的文件只是簡單的逗號分隔值（不具有有逗號和他們周圍，因此雙引號列），你也可以使用BCP加載數據。如果文件沒有任何特別的內容，使用起來非常簡單。

對於更復雜的情況，SSIS可能是更好的解決方案。當導入這麼大的東西時，確保你設置了-b選項，以便整個文件不是一個批次，並且取決於你想要使用的文件內容-c（ascii）或-w（unicode）

2015-07-05 13:32:22

回答