蟒蛇爬蟲代碼搜索網絡上的任何文件

Question

是否有一個python爬蟲/網絡蜘蛛代碼來搜索基於單個或多個搜索關鍵字的網絡上的任何文件？代碼需要在返回鏈接或將文件下載到文件夾之前搜索文件中最大關鍵字的匹配。

Answer 1

你應該嘗試python scrapy。 https://scrapy.org/文檔非常好，你可以用這些例子做很多事情。