MYSQL＆PHP：在PHP while循環中運行INSERT INTO SELECT查詢，運行緩慢

Question

我對PHP和MYSQL真的很陌生，我一個月前都不知道，所以請原諒我的馬虎/糟糕的代碼:)

我有我的PHP中下面的代碼：

$starttime = microtime(true); 
$q_un = 'SELECT i.id AS id 
      FROM items i 
      WHERE i.id NOT IN (SELECT item_id FROM purchased_items WHERE user_id=' . $user_id . ')'; 
$r_un = mysqli_query($dbc, $q_un); 
if (mysqli_num_rows($r_un) > 0) { 
while ($row_un = mysqli_fetch_array($r_un, MYSQLI_ASSOC)) { 
    $item_id = $row_un['id']; 
    $q_rec = 'INSERT INTO compatibility_recommendations (
       `recommendation`, 
       `user_id`, 
       `item_id`) 
       SELECT 
        ((SUM(a.rating*(a.compat-80)))/(SUM(a.compat-80)))*10 AS rec, 
        a.user_id AS user_id, 
        a.item_id AS item_id 
       FROM 
        (SELECT r.rating AS rating, 
         c.user2_id AS rater, 
         c.user1_id AS user_id, 
         c.compatibility AS compat, 
         r.item_id AS item_id 
        FROM ratings r 
        RIGHT JOIN compatibility_ratings c ON r.user_id=c.user2_id 
        WHERE c.user1_id=' . $user_id . ' AND r.item_id=' . $item_id . ' AND c.compatibility>80) a 
       ON DUPLICATE KEY UPDATE 
        recommendation = VALUES(recommendation)'; 
    $r_rec = mysqli_query($dbc, $q_rec); 
} 
} 
$endtime = microtime(true); 
$duration = $endtime - $starttime;</code> 

第一個查詢選擇當前用戶，$ USER_ID，尚未購買的物品清單。然後在返回的每一行（item）上運行一個while循環，在此循環中執行主查詢。

這下一個查詢是從收視率表中獲取信息，其中item_id等於當前正在查詢的item_id，並將其加入到具有正確聯接的預先計算的用戶兼容性表中。

然後，我對評級和兼容性評級運算算法以形成推薦值，然後將推薦item_id和user_id插入到稍後調用的另一個表中。在（item_id，user_id）列上有一個2列唯一鍵，因此在末尾的ON DUPLICATE KEY UPDATE

所以我今天早上寫了這段代碼，對自己很滿意，因爲它確實是我需要的做。

問題是，可以預見，它很慢。在我的測試數據庫中，有5個測試用戶和100個測試項目以及200個評分的隨機分組，它需要2.5秒才能通過while循環。我期待它會變慢，但不會這麼慢。一旦添加了更多的用戶和項目，這真的很難。主要問題是插入...在重複密鑰更新部分，我的磁盤利用率達到100％，我可以告訴我的筆記本電腦的硬盤正在尋求瘋狂。我知道我可能會在生產中使用固態硬盤，但我仍然預計有數千個項目和用戶會遇到大規模問題。

所以我的主要問題在於：任何人都可以提供任何建議，如何優化我的代碼，或完全rejig的東西，以提高速度。我確信在while循環中插入查詢是一個不好的方法，我只是想不出任何其他方式來獲得完全相同的結果

在此先感謝和抱歉，如果我格式化我的問題正確

Answer 1

$starttime = microtime(true); 
$q_un = " 

INSERT INTO compatibility_recommendations 
(recommendation 
,user_id 
,item_id 
) 
SELECT ((SUM(a.rating*(a.compat-80)))/(SUM(a.compat-80)))*10 rec 
     , a.user_id 
     , a.item_id 
    FROM 
     (SELECT r.rating rating 
      , c.user2_id rater 
      , c.user1_id user_id 
      , c.compatibility compat 
      , r.item_id 
      FROM compatibility_ratings c 
      JOIN ratings r 
      ON r.user_id = c.user2_id 

      JOIN items i 
      ON i.id = r.item_id 

      LEFT 
      JOIN purchased_items p 
      ON p.item_id = i.id 
      AND p.user_id = $user_id 

     WHERE c.user1_id = $user_id 
      AND c.compatibility > 80 
      AND p.item_id IS NULL 
    ) a 
GROUP BY a.item_id 
ON DUPLICATE KEY UPDATE recommendation = VALUES(recommendation); 

"; 

$r_rec = mysqli_query($dbc, $q_rec); 
} 
} 
$endtime = microtime(true); 
$duration = $endtime - $starttime;</code> 

對於任何進一步的改進，我們真的需要看到正確的DDL和上面的SELECT的解釋。

Answer 2

見https://stackoverflow.com/a/14456661/2782404

FETCH_ASSOC可能比fetch_array顯著快，你應立即獲取你訪問值之前。

Answer 3

我與刀片發現，我一直在尋找here

每個項目的第二個查詢正在採取0.002秒只是選擇的答案，但隨後0.06秒，所以我異型查詢，發現「查詢結束「佔據了查詢時間的99％。我已經設置innodb_flush_log_at_trx_commit = 0，但對這個答案的評論皺眉。但是，我不使用交易，那麼這種方法會有什麼後果/替代方案嗎？它確實將我的while循環時間從2.5秒減少到了0.08秒。