Scrapy刪除查詢字符串響應

Question

在scrapy shell當我嘗試了谷歌的搜索結果頁面：

$ scrapy shell "http://www.google.com/?gws_rd=ssl#q=%22german+beer+near%22&start=0"

我之後沒有查詢字符串的響應‘關於使用fetch＃’ [s] request <GET http://www.google.com/?gws_rd=ssl#q=jeffrey+m+liebmann> [s] response <200 http://www.google.com/?gws_rd=ssl>

此問題屬於scrapy還是Google？嘗試粘貼整個URL +查詢字符串，谷歌讓我的結果很好。

Answer 1

Google之前從http切換到https，因此您只需從請求網址中刪除gws_rd=ssl即可。試試這個：

scrapy shell "https://www.google.fr/search?q=%22german+beer+near%22&start=0" 

和respose將是：

[s] request <GET https://www.google.fr/search?q=%22german+beer+near%22&start=0> 
[s] response <200 https://www.google.fr/search?q=%22german+beer+near%22&start=0>