解析大文件

Question

我要解析的文件

• 日誌（5GB）
• 錯誤日誌（1GB）
• 導入數據文件（CSV）（400MB）
• 備份數據（10GB）

等等

我的第一個想法就是那麼無論解析PHP中的這些文件刪除我不需要的東西並將它們保存到我的數據庫中。導入文件，它的運行正常，因爲它的小

但是當我要檢查的備份數據，php的故障並停止（我得到不同的錯誤，如內存錯誤）

我想知道什麼的解析和導入這些大文件的最佳方式，最好是，我想有一個腳本來管理所有這些文件。是我的PHP腳本可以處理它？或者我應該做點別的？

Answer 1

的fread是非常有用的 http://php.net/manual/en/function.fread.php

它將解析一行一行，以便只有一個線或在最大X字節是在存儲器中的時間。