CakePHP建議迭代一個巨大的表並生成一個站點地圖？

Question

我想創建一個使用CakePHP的XML站點地圖，從當前有超過50,000條記錄的表中創建，每個記錄等同於站點地圖中的URI。現在我面臨的問題是CakePHP的運行我的內存不足而產生的，原因有二：

1. 一個find('all')是建立一整套50000項的URI的一個巨大的關聯數組。
2. 因爲我不想從控制器本身輸出HTML，我能傳送包含URI，優先級，變化頻率等關聯數組，該視圖與$this->set()電話 - 這又是巨大的，含50000指數。

是否有可能在遵循MVC和CakePHP指南的情況下執行此操作？

Answer 1

你確定你必須在50.000記錄運行內存不足？即使一行的大小是1K（非常大），你也不得不處理大約50MB的數據？我的P1有足夠的內存來處理。在php.ini中設置memory_limit高於默認值。 （也考慮調整max_execution_time。）

另一方面，如果您認爲數據集太大並且處理過於耗費資源，則不應該動態地爲頁面提供服務，這是完美的DDoS誘餌。 （至少我會緩存它。） 您可以安排一個cron作業，每隔X小時通過一個服務器端腳本重新生成頁面，這個腳本不受MVC一次向視圖提供所有數據的懲罰，它可以工作依次排列。

Answer 2

你試過unBindModel（如果你有關係）......

每當我需要做的CakePHP中的巨大查詢我只是用「常規」 MySQL的函數一樣的mysql_query，mysql_fetch_assoc等快很多，不乏記憶...

Answer 3

這周我有類似的問題，和整個Containable行爲絆倒了。這可以讓你減少任何關係相關的查詢（如果有的話）。

最好的解決辦法是，以編程方式使用LIMIT and OFFSET，並遍歷記錄小塊在同一時間。這可以避免您一次將50K記錄填充到內存中。

Answer 4

發現（「全部」）是太貪婪，你將有更具體的，如果你不想耗盡內存。

如上所述，請使用Containable行爲。如果你只需要從表中，結果（無關聯的表），以及只有幾個字段，這樣一個更明確的查詢應該會更好：

$results = $this->YourModel->find('all', array(
    'contain' => false, 
    'fields' => array('YourModel.name', 'YourModel.url') 
); 

你也應該考慮增加一個HTML緩存機制（CakePHP的有一個內置的或使用一個suggested by Matt Curry）。

當然，這將是一個緩存版本，而不是完全最新到列表中。如果需要更多控制，可以使用模型的afterSave/afterDelete回調將結果始終保存在Cake緩存中（使用Cache::write），以更新緩存的值並從此處重新創建緩存的xml文件。

Answer 5

我知道這個問題是舊的，但對於真正巨大的查詢，我仍然沒有很好的解決方案。

要遍歷一個巨大的結果集，你可以使用DboSource方法。

首先得到DBO

$dbo = $this->Model->getDataSource(); 

構建查詢

$sql = $dbo->buildStatement($options); 

然後通過結果

if ($dbo->execute($sql)) 
{ 
    while ($dbo->hasResult() && $row = $dbo->fetchResult()) { 
     // $row is an array with same structure like find('first') 
    } 
} 

Answer 6

使用https://github.com/jamiemill/cakephp_find_batch執行語句和迭代或通過自己實現這個邏輯。