0
A
回答
0
如果您知道內部網的所有網址，請編寫一個robots.txt（或與所有網址相同的網頁並指向該網址）。
如果您不這樣做，那麼您將永遠無法安全地抓取所有網址，因爲您無法在抓取後對其進行驗證。
在最後一種情況下，最好的機會是在最大深度進行爬網。
Regards
相關問題
- 1. 索引網址使用nutch注入網址內容
- 2. Solr使用Nutch Crawler索引
- 3. 如何閱讀Nutch索引的內容？
- 4. Nutch履帶不索引HTML內容
- 5. 如何僅使用Nutch索引某些網址的頁面？
- 6. Nutch，蜘蛛，索引網頁它已經在它的索引？
- 7. 如何索引nutch中的所有元標記
- 8. Apache Nutch不索引整個網站，只有子文件夾
- 9. SolrIndexer索引器失敗nutch
- 10. Nutch網絡蜘蛛，索引整個網絡
- 11. 如何使用Elasticsearch 5.x與Nutch /如何索引Elasticsearch 5中的HTML網頁？
- 12. 檢索所有記錄 - 內部連接
- 13. TYPO3索引搜索引擎 - 並非所有的頁面內容被索引
- 14. 使用nutch索引我的本地HTML文件
- 15. 您是否使用過elasticsearch索引nutch爬行結果？
- 16. 爲什麼nutch不會搜索所有英文網站的鏈接？
- 17. 參考內部索引？
- 18. 使用Nutch如何抓取uisng ajax網頁的動態內容？
- 19. 整合nutch 2.3.1與solr 6.4.1，索引作業有問題
- 20. Nutch提取的頁面沒有被索引到Solr
- 21. 如何限制drupal搜索索引所有內容類型？
- 22. 使用Nutch內容限制的建議
- 23. 索引/搜索PDF內容使用Solr
- 24. HTTPS使用Nutch
- 25. IOExeption使用Nutch
- 26. 列出所有索引
- 27. OrientDB：列出所有索引
- 28. 谷歌沒有索引我的網站中的所有頁面
- 29. 如何阻止搜索引擎索引從origin.domainname.com開始的所有網址
- 30. 探索nutch over hadoop