使用file_get_content獲取網站的來源

Question

我有一個數以萬計的網站列表。我必須迭代它們，並且在每次迭代中 - 調用給定url的file_get_contents，使用regex從源搜索一些信息，並將其寫入另一個文件。

好的，事情是 - 它非常非常慢。我將整個過程劃分爲每次刷新頁面時搜索約50個URL。但是：

• 我不得不刷新頁面，直到我得到一個幾千
• 即使只有50個網址，我得到30秒的時間超過

有沒有一種方法，以加快這起來了嗎？

Answer 1

set_time_limit（int $ seconds）可以幫助您增加最大執行時間。 http://php.net/manual/fr/function.set-time-limit.php

我假設你正在使用你的腳本瀏覽器。也許你應該考慮從命令行執行，因爲對於長執行時間腳本來說更好。