如何使用scrapy抓取網站？

Question

我打算寫一個基於scrapy的Gui應用程序，用戶輸入一個網站URL，然後點擊「抓取」按鈕，然後整個網站將被抓取並存儲在內置的scrapy-db中sqlite的）。

如何使用scrapy來幫助我抓取網站？

Answer 1

那麼，你的問題是不是很好的框架。您如何使用Scrapy取決於您。

下面是Scrapy確實基本上是：

1）網站具有樹形結構A-> B，A-> C，A-> d，B-> E，C->˚F.....等

2）Scrapy可以幫助您通過樹遞歸

3）在抓取，Scrapy讓你 '我的' 的信息抓取。對於你需要學習的XPath頁面

http://www.w3schools.com/xpath/

4定位和解析DOM值）解析的值，並將其存儲在數據庫中。

讓我們知道您正在爲自己感興趣的內容搜索。如果您只是抓取並保存網頁，那麼您最好還是購買[HTTrack] http://www.httrack.com