Scrapy make_requests_from_url（URL）

Question

在Scrapy教程存在BaseSpider的這個方法：

make_requests_from_url(url)

接收的URL和 返回一個請求對象（或 請求的列表的方法對象）刮。

此方法被用來構建在 start_requests的 初始請求（）方法，並且是 通常用於URL轉換到 請求。

除非被覆蓋，這個方法返回 請求與解析（）方法 他們的回調函數，並啓用 dont_filter參數（見 Request類獲取更多信息）。

你明白這個方法的作用嗎？我可以使用makerequestsfrom_url和BaseSpider代替SgmlLinkExtractor和CrawlSpider，它不適合我嗎？

我想抓取超過給定的初始網址，Scrapy沒有這樣做。

感謝

Answer 1

這是正確的，該CrawlSpider是有用的，在很多情況下方便，但它只涵蓋了所有可能的蜘蛛的一個子集。如果你需要更復雜的東西，你通常會劃分子類BaseSpider並實施start_requests()方法。