2009-10-07 79 views

回答

4

您是否考慮過使用robots.txt文件來最大限度地減少自動化捕捉工具產生的無用流量?

對於每個用戶代理(即每個蜘蛛),您可以有多個Disallow行。這是一個較長的robots.txt文件的例子:

User-agent: * 
Disallow: /images/ 
Disallow: /cgi-bin/ 

User-agent: Googlebot-Image 
Disallow:/

這裏是禁止一切除了谷歌

User-agent: * 
Disallow:/

User-agent: Googlebot 
allow:/

一句警告的例子:這種方法不能保證要阻止不允許的代理商訪問您的網站,它會以大多數這些工具能夠理解的標準方式很好地提供給他們。

+0

他正在考慮允許漫遊和否定別人。這不會幫助。 – 2009-10-07 19:13:56

+0

@Mike:再次閱讀。他明確表示「強制從所有IP地址登錄不是前四名的搜索引擎」。基本上,他只想允許某些「機器人」;這在robots.txt文件中涵蓋了 – NotMe 2009-10-07 19:23:44

+0

我認爲這裏的問題對於目標是不明確的。我之所以讀它,是因爲他想限制訪問不是前4名搜索引擎的機器人,但它可以輕鬆地閱讀爲說任何不是來自前4名搜索引擎的訪問都需要登錄。 – 2009-10-07 19:24:45

0

是的。您可以強制登錄除少數IP地址以外的所有頁面。這取決於您使用的是什麼Web服務器以及允許哪種訪問控制?

0

,如果你想不同的是頂部4搜索引擎爲大家強制logind,你可以要求從每個人登錄不同的是頂部4搜索引擎或自動登錄他們

相關問題