搜索引擎如何通過互聯網找到網站

Question

我將編寫一個Web解析器（一個從一個網站到另一個網站上爬行的應用程序）。
如何找到互聯網上可用域名/ IP列表（儘可能完整）？
搜索引擎如何找到網站（他們用作可靠的註冊IP /域名的起點）？

謝謝

Answer 1

正如Michael P的評論所指出的，取決於你的目標是什麼。

我的公司最近想回答關於在主要網站上使用的第三方工具的問題。我使用Alexa作爲查找頂級（按流量）網站的起點，並創建了一個解析器來解答我公司提出的具體問題。如果您從這樣的列表開始，您可以對您的網絡爬蟲程序進行編程，以遵循它遇到的鏈接，以擴大您對網絡上網站的知識。

希望能幫助您思考問題。