2016-02-11 36 views
0

因此,我嘗試抓取目標產品的評分,並使用ajax。我找出了XHR的網址是: http://tws.target.com/productservice/services/reviews/v1/reviewstats/21499594Scrapy:此服務不提供或不允許使用

現在是部分混淆了我: 1.如果我去target.com,搜索特定產品,打開它,然後去上述網址,我可以在瀏覽器中看到json文件 2.但是,如果我只是直接在瀏覽器中輸入URL,則會收到一條錯誤消息,指出「此服務未提供或不允許使用此來源。」

原因是什麼,我該如何解決這個問題? 謝謝! (我用的方式scrapy)

回答

0

我找到一個可行的解決方案,但如果有人能告訴我的基本機制:)

所以在我的要求下,我添加了一個頭,這將是夢幻般的說我來自target.com('Origin':'http://www.target.com'),那麼一切正常

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ' 
        '(KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36', 
       'Origin': 'http://www.target.com' 
     } 

jsoncontent = requests.get(url, headers=head).content 
jsdict = json.loads(jsoncontent)