robots.txt不允許屬性

Question

我已經禁止某些使用robots.txt的頁面用於所有搜尋器。我是否必須爲這些文件編寫元標記，否則網絡爬蟲只會跳過它們，因此不需要這樣做？

Answer 1

你很好走。所有的大搜索引擎（谷歌，真的）都服從你在robots.txt中的任何條目。 http://www.robotstxt.org/robotstxt.html

此外，請注意robots.txt文件本身是可見的，因此不要將其用作安全措施。 http://www.cre8asiteforums.com/forums/index.php?showtopic=55546

Answer 2

寫得很好的機器人會忽略這些頁面（前提是robots.txt的語法是正確的）。

Answer 3

如果你想限制爬行器服從robots.txt，那麼你很好，但如果它沒有那麼你可能會擰緊，因爲它很可能會忽略meta。

所有主要的搜索引擎抓取工具都會遵從它，所以你可能沒問題。