scrapyrt不是從scrapy履帶

接收效應初探我試圖運行使用scrapyrt scrapy履帶。我獲得以下瀏覽器scrapyrt不是從scrapy履帶

{"status": "error", "message": "", "code": 500} response: 1

響應，這一次在scrapyrt窗口

我嘗試過編輯日誌文件的路徑，但它拋出權限被拒絕的錯誤。

爬蟲成功運行（因爲它創建html文件），但沒有收到json響應curl。

$curl = curl_init(); 
    curl_setopt_array($curl, array(
    CURLOPT_PORT=>'9080', 
    CURLOPT_URL => "http://localhost/crawl.json?spider_name=dmoz&url=http://www.dmoz.org/Computers/Programming/Languages/Ada/", 
    CURLOPT_FOLLOWLOCATION => true, 
    CURLOPT_MAXREDIRS  => 10,  
    CURLOPT_USERAGENT  => $_SERVER['HTTP_USER_AGENT'], 
    CURLOPT_AUTOREFERER => true, 
    CURLOPT_CONNECTTIMEOUT => 120,  
    CURLOPT_TIMEOUT  => 120, 
    CURLOPT_POST   => false 
     )); 
    $response = curl_exec($curl); 
    $err = curl_error($curl); 

    curl_close($curl); 

    if ($err) { echo "cURL Error #:" . $err; } 
    else { echo "response: ".$response; }

如果同一個履帶從Scapy的CMDscrapy crawl dmoz -a url="http://www.dmoz.org/Computers/Programming/Languages/Ada/"

執行輸出是

{'description': u'ACM Special Interest Group on Ada: information on SIGAda organization and pointers to current information and resources for the Ada programming language.', 'name': u'SIGAda', 'url': u'http://www.sigada.org/'}

來源

2016-12-25 Pradip Shenolkar

解決了這個問題：

更新「C：\ Python27 \ LIB \站點包\ scrapyrt \ log.py」用下面的文件。

替換

filename = settings.get('LOG_FILE')

與此

filename = "C:\\wamp64\\www\\dirbot-master\\logs\\dmoz\\log.log"

dirbot主是scrapy項目。現在我接收瀏覽器的響應。

來源

2016-12-26 15:15:05

感謝普拉迪普Shenolkar –

scrapyrt不是從scrapy履帶

回答

相關問題