PHPBB Robots.txt規則？

我目前編輯我的robots.txt它看起來像這樣：PHPBB Robots.txt規則？

User-agent: * 
Disallow: /adm/* 
Disallow: /download/* 
Disallow: /cache 
Disallow: /files 
Disallow: /viewforum.php?f=146 
Disallow: /ucp.php 
Disallow: /mcp.php 
Disallow: /memberlist.php 
Disallow: /config.php 
Disallow: /cron.php 
Disallow: /faq.php 
Disallow: /report.php 
Sitemap: http://www.website.com/app.php/sitemap.xml

我想知道如何正確地做幾件事情但是。

1）這會正確阻止搜索引擎訪問論壇區域嗎？

Disallow: /viewforum.php?f=146

我想要一個區域隱藏搜索引擎，但其他論壇區域正常完全可讀。

2）你如何阻止對內部PHPBB文件夾的訪問，並保持搜索引擎出admin？這些規則是否正確？

Disallow: /adm/* 
Disallow: /download/*

3）php文件的規則是否正常工作？

Disallow: /ucp.php

還有什麼我應該知道或做什麼？

來源

2016-11-02 zeddex

添加該規則可能不會保留隱藏的搜索引擎，他們通常不遵守'robots.txt'文件 – cmorrissey

好的，但上述規則是正確的嗎？ – zeddex

@cmorrissey：哪個（衆所周知的？）搜索引擎違反robots.txt？ – unor

線

Disallow: /viewforum.php?f=146

不允許的URL其路徑與/viewforum.php?f=146開始的爬行。

所以像這些URL將不允許被抓取：

http://example.com/viewforum.php?f=146
http://example.com/viewforum.php?f=1461
http://example.com/viewforum.php?f=146a
http://example.com/viewforum.php?f=146/foo
http://example.com/viewforum.php?f=146&bar
...

（當然，它的工作原理與/ucp.php，/adm/和/download/一樣。請注意，這意味着所需的*是不需要的，除非它實際上是URL的一部分。）

因此，如果論壇概述是在http://example.com/viewforum.php?f=146，它將被阻止。但是，請注意，可能是這樣的情況，即可以從不同的URL訪問相同的頁面，例如，例如：http://example.com/viewforum.php?someOtherParameter&f=146

另請注意，這不一定會阻止該論壇區域中的論壇主題的抓取（因爲它們通常不以此路徑開頭）。雖然符合條件的機器人不會抓取此論壇區域頁面，但他們可能會找到指向其他地方的線索的鏈接。

來源

2016-11-03 11:44:40 unor

感謝信息是非常有用的，所以如何阻止只有區域146的論壇，但仍然允許1461,146a等，這可能嗎？ – zeddex

基本上我在考慮在論壇中添加一個like4like部分，我知道有些公司像google可能不喜歡這種類型的東西，因爲它可能被認爲是黑帽，所以我只是希望搜索引擎忽略它，以防萬一它讓谷歌等不喜歡我的網站。 – zeddex

@zeddex：使用原始的robots.txt規範，這是不可能的。但許多消費者支持robots.txt的其他功能，包括Google：他們將'$'字符解釋爲結尾（[參見文檔]（https://support.google.com/webmasters/answer/6062596?hl=en）），所以'Disallow：/viewforum.php？f = 146 $'可能會做你想做的。但是，不具有相同解釋的機器人會逐字解釋它，因此它們將被允許抓取'/viewforum.php?f=146'（因爲只有'/viewforum.php？f = 146 $'被禁止）。 – unor

您只能通過robots.txt而不是文件禁止目錄。首先，從目錄中刪除星號。

Disallow: /adm/ 
Disallow: /download/

至於文件，你可以把它添加到< HEAD>部分。它不會阻止機器人獲取，但好的機器人應該忽略它並繼續前進。

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

來源

2016-11-02 21:07:06

非常感謝，PHPBB會如何阻止某個搜索引擎從某個特定論壇發佈？會「不允許：/viewforum.php?f=146」不起作用嗎？ – zeddex

這不是事實。 Robots.txt不在乎是否某個目錄，文件或其他東西。 – unor

PHPBB Robots.txt規則？

回答

相關問題