經過幾個月的搜索結果,每個主要的搜索引擎都消失後,我終於找到了一個可能的原因。HEAD請求在GET「200 ok」時收到「403禁止」?
我用WebBug來調查服務器頭。查看請求是HEAD還是GET的區別。
HEAD發送的數據:
HEAD/HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0
HEAD接收的數據:
HTTP/1.1 403 Forbidden
Date: Tue, 10 Aug 2010 23:01:00 GMT
Server: Apache/2.2
Connection: close
Content-Type: text/html; charset=iso-8859-1
獲取發送數據:
GET/HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0
GET接收到的數據:
HTTP/1.1 200 OK
Date: Tue, 10 Aug 2010 23:06:15 GMT
Server: Apache/2.2
Last-Modified: Fri, 08 Jan 2010 08:58:01 GMT
ETag: "671f91b-2d2-47ca362815840"
Accept-Ranges: bytes
Content-Length: 722
Connection: close
Content-Type: text/html
// HTML code here
現在,默認瀏覽器發送GET請求(至少這是什麼螢火說)。抓取工具是否有可能發送HEAD請求?如果是這樣,爲什麼只有這臺服務器響應一個403,而其他網站我所需要的其他服務器不會?
在情況下,它是很重要的,目前在.htaccess中唯一的行(除非我的客戶改變了它,因爲他們不想讓我進入他們的服務器)
AddType text/x-component .htc
UPDATE
謝謝@Ryk。 FireBug和Fiddler都發送GET請求,獲得200(或300)個響應。如預期。所以我想這可能是服務器設置不當(即使主機來自擁有數百萬客戶端的大型公司,這很奇怪),或者它們放在.htaccess中。他們將不得不讓我看看他們的賬戶。
我的問題的第二部分是,如果這可能是網站沒有出現在任何搜索引擎的原因(網站:www.attu.it沒有給出結果)。任何想法?
UPDATE 2
後一些擺弄周圍,原來有phpMyAdmin的機器人阻擋在根目錄中,導致從機器人的任何請求的.htaccess與禁止
這是一個服務器的錯誤,客戶希望它修復,他們應該給你至少一些訪問權限。至少,問問他們是否可以看到當前.htaccess的副本。 – 2010-08-11 00:25:48