file_get_contents => PHP致命錯誤：允許內存耗盡

Question

我在處理大文件時沒有經驗，所以我不知道該怎麼做。我試圖使用file_get_contents來讀取幾個大文件;任務是使用preg_replace（）進行清理並將它們打包。

我的代碼在小文件上運行良好;但是，大文件（40 MB）觸發內存耗盡錯誤：

PHP Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 41390283 bytes) 

我想用FREAD（）代替，但我不知道會擦出火花。有沒有解決這個問題的方法？

感謝您的輸入。

這是我的代碼：

<?php 
error_reporting(E_ALL); 

##get find() results and remove DOS carriage returns. 
##The error is thrown on the next line for large files! 
$myData = file_get_contents("tmp11"); 
$newData = str_replace("^M", "", $myData); 

##cleanup Model-Manufacturer field. 
$pattern = '/(Model-Manufacturer:)(\n)(\w+)/i'; 
$replacement = '$1$3'; 
$newData = preg_replace($pattern, $replacement, $newData); 

##cleanup Test_Version field and create comma delimited layout. 
$pattern = '/(Test_Version=)(\d).(\d).(\d)(\n+)/'; 
$replacement = '$1$2.$3.$4  '; 
$newData = preg_replace($pattern, $replacement, $newData); 

##cleanup occasional empty Model-Manufacturer field. 
$pattern = '/(Test_Version=)(\d).(\d).(\d)  (Test_Version=)/'; 
$replacement = '$1$2.$3.$4  Model-Manufacturer:N/A--$5'; 
$newData = preg_replace($pattern, $replacement, $newData); 

##fix occasional Model-Manufacturer being incorrectly wrapped. 
$newData = str_replace("--","\n",$newData); 

##fix 'Binary file' message when find() utility cannot id file. 
$pattern = '/(Binary file).*/'; 
$replacement = ''; 
$newData = preg_replace($pattern, $replacement, $newData); 
$newData = removeEmptyLines($newData); 

##replace colon with equal sign 
$newData = str_replace("Model-Manufacturer:","Model-Manufacturer=",$newData); 

##file stuff 
$fh2 = fopen("tmp2","w"); 
fwrite($fh2, $newData); 
fclose($fh2); 

### Functions. 

##Data cleanup 
function removeEmptyLines($string) 
{ 
     return preg_replace("/(^[\r\n]*|[\r\n]+)[\s\t]*[\r\n]+/", "\n", $string); 
} 
?> 

Answer 1

首先，你應該明白，使用的file_get_contents當你獲取數據的整個串入一個變量，即變量存儲在主機內存中。

如果該字符串大於專用於PHP進程的大小，則PHP將暫停並顯示上面的錯誤消息。

解決方法是將文件作爲指針打開，然後每次取一個塊，這樣如果你有一個500MB的文件，你可以讀取第一個1MB的數據，執行你將要使用它，刪除即從系統內存中取出1MB，並替換爲下一個MB，這使您可以管理將多少數據存儲在內存中。

如果這可以在下面看到一個例子，我將創建就像到node.js的

function file_get_contents_chunked($file,$chunk_size,$callback) 
{ 
    try 
    { 
     $handle = fopen($file, "r"); 
     $i = 0; 
     while (!feof($handle)) 
     { 
      call_user_func_array($callback,array(fread($handle,$chunk_size),&$handle,$i)); 
      $i++; 
     } 

     fclose($handle); 

    } 
    catch(Exception $e) 
    { 
     trigger_error("file_get_contents_chunked::" . $e->getMessage(),E_USER_NOTICE); 
     return false; 
    } 

    return true; 
} 

一個函數，然後用像這樣：

$success = file_get_contents_chunked("my/large/file",4096,function($chunk,&$handle,$iteration){ 
    /* 
     * Do what you will with the {&chunk} here 
     * {$handle} is passed in case you want to seek 
     ** to different parts of the file 
     * {$iteration} is the section fo the file that has been read so 
     * ($i * 4096) is your current offset within the file. 
    */ 

}); 

if(!$success) 
{ 
    //It Failed 
} 

其中一個問題，你會發現你試圖在一個非常大的數據塊上執行幾次regex，不僅如此，而且你的regex是爲匹配整個文件而構建的。

使用以上方法你的正則表達式可能變得毫無用處，因爲你可能只能匹配半組數據，你應該做的是恢復到原始字符串函數如

• strpos
• substr
• trim
• explode

用於匹配字符串，我在回調中添加了支持，以便處理和當前迭代通過，這將允許您在回調中直接使用該文件，從而允許您使用fseek,ftruncate和fwrite等功能。

構建字符串操作的方式效率不高，使用上面提出的方法是一種更好的方法。

希望這會有所幫助。

Answer 2

一個漂亮的醜陋的解決方案取決於文件大小來調整你的內存限制：

$filename = "yourfile.txt"; 
ini_set ('memory_limit', filesize ($filename) + 4000000); 
$contents = file_get_contents ($filename); 

右solutuion將認爲，如果能處理文件以較小的塊，或使用PHP的命令行工具。

如果您的文件是基於行的，您還可以使用fgets逐行處理它。

Answer 3

我的建議是使用fread。它可能是一個慢一點，但你沒有使用你所有的記憶... 例如：

//This use filesize($oldFile) memory 
file_put_content($newFile, file_get_content($oldFile)); 
//And this 8192 bytes 
$pNew=fopen($newFile, 'w'); 
$pOld=fopen($oldFile, 'r'); 
while(!feof($pOld)){ 
    fwrite($pNew, fread($pOld, 8192)); 
}