這個robot.txt代碼會拒絕每個搜索引擎嗎？

Question

我想知道如果這段代碼不允許每個搜索引擎掃描我的目錄。

User-agent: * 
Disallow:/

此代碼是否更新了新的htlm 5 protocole？

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> 

真的有用或不需要了嗎？

Answer 1

不，它只會停止遵守robots.txt協議的那些（有些搜索引擎故意違反robots.txt來查找「隱藏」內容）。

然而，它會阻止大多數普通消費者使用的搜索引擎。