有沒有辦法通過URL找到所有頁面的鏈接？

如果我有一個鏈接說http://yahoo.com/所以我可以得到雅虎內的鏈接？例如，我有一個網站http://umair.com/，我知道只有5頁家，關於，投資組合，常見問題解答，聯繫，所以我可以通過編程方式獲得如下鏈接？有沒有辦法通過URL找到所有頁面的鏈接？

http://umair.com/index.html 
http://umair.com/about.html 
http://umair.com/portfolio.html 
http://umair.com/faq.html 
http://umair.com/contact.html

定義「yahoo中的鏈接」的含義。

您是指所有頁面上「http://www.yahoo.com」返回的頁面上存在鏈接的頁面？如果是這樣，您可以讀取HTTP GET請求返回的HTML，並通過它解析以查找<a>元素。您可以使用"HTML Agility Pack"尋求幫助。

如果您的意思是「該域名服務器上的所有頁面」，可能不是。大多數網站定義了一個默認頁面，當您沒有明確請求時，您會收到這個頁面。（例如，請求http://umair.com幾乎肯定返回http://umair.com/index.html）。非常很少網站沒有定義默認值，他們會返回一個文件列表。

如果您的意思是「該域中的服務器上的所有頁面，即使它們定義了默認頁面」，也不會這樣做。這將極大地破壞安全。

2010-08-30 20:05:33

你提到的最後一段是我的問題。你說這是不可能的，但如果你知道一個名爲WebCopier的工具，那就做到了。沒有？ – Neutralizer 2010-08-30 20:37:28

這可以通過一個Web爬蟲來完成，看了一些基本的信息看：

http://en.wikipedia.org/wiki/Web_crawler

包括開源爬蟲，看看是否有任何人是你在找什麼。

2010-08-30 20:05:59

謝謝，我已經知道了。我需要問我是否可以克服服務器中的默認頁面設置？ – Neutralizer 2010-08-30 20:38:12

回答