Robots.txt - 允許漫遊器僅通過htts訪問

Question

我們的站點僅使用https，所以任何http都會被強制使用https。但是仍然有一些機器人想通過http強制進入。

我已經搜索，但找不到一個簡單的方法來做到這一點。

所以我的問題是，我應該怎麼寫的robots.txt，這樣我只允許HTTPS

Answer 1

寫硬盤302重定向到HTTPS。如果只有一個http only bot，它不是一個搜索引擎機器人。 Google，Yahoo和Bing僅接受https。你可以忽略所有其他的機器人。

Answer 2

如果您使用HTTP 301從HTTP重定向到HTTPS，有能力的機器人會注意到重定向（並根據機器人的用途，跟隨它，更新它們的索引等）。如果您想禁止抓取您的HTTP URL，請注意，漫遊器無法獲知這些網頁現在具有新的URL，因爲它們不允許訪問它們以通知重定向（如果您有或有HTTP鏈接）。

如果你還希望禁止HTTP網址抓取，請將以下robots.txt在http://example.com/（或http://www.example.com/或任何你的主機），並做不重定向這個特定的URL來https://example.com/robots.txt。

User-agent: * 
Disallow:/