HTTPWebREquest - 返回WebException-錯誤（404）找不到

Question

我有一個抓取程序，它會抓取URL來解析HTML，並在我開始這個過程中遇到一個不尋常的錯誤。從網站的特定URL集使用時取HttpWebRequest和HTTPWebResponse我得到的錯誤

**>遠程服務器返回錯誤：

(404) Not Found**

這是不尋常的，因爲它在粘貼時它的工作原理我的瀏覽器。任何想法讚賞。不知道是否需要發佈代碼，但如果是這樣，請告訴我。

Answer 1

該網站可能會阻止您的用戶代理，或者它可能需要cookie。

Answer 2

遠程服務器是否可以根據用戶代理服務於不同的頁面，並且它沒有與HttpWebRequest實例提供的User-Agent值相對應的頁面（默認情況下爲空）？只是一個想法，因爲你說瀏覽器訪問它的地址時可以找到頁面，而不是通過代碼。