用於動態鏈接的Mp3鏈接爬行器

Question

我正在編寫一個爬網程序，它將繞過特定的一組網站並將所有的mp3鏈接抓取到數據庫中。我不想下載文件，只需抓取鏈接，索引它們並能夠搜索它們。使用PHP和如何某些網站臨客guruji.com

Answer 1

你可能想研究的正則表達式 - 那麼，你已經接通後，做這樣的事情：

function crawl($url) { 
    $ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, $url); 
    curl_setopt($ch, CURLOPT_TIMEOUT, 30); // 30 second timeout 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); 
    $result = curl_exec ($ch); 
    curl_close ($ch); 

    if ($result) { 
     // top domain links 
     preg_match_all('/<a(?:[^>]*)href=\"([^\"]*)\"(?:[^>]*)>(?:[^<]*)<\/a>/is', $result, $output, PREG_SET_ORDER); 

     foreach($output as $item) { 
      // each link found is output 
      echo "<pre>"; 
      var_dump($item[0]); 
      // do your magic here 
     } 
    } 
} 

這隻能找到所有鏈接的，所以你必須根據你的使用情況調整比賽，或者拿出一個過濾器。