只允許Google CSE並且不允許在ROBOTS.txt中使用Google標準搜索

Question

我有一個網站我正在使用Google自定義搜索引擎。我希望Google CSE抓取我的網站，但我希望它能夠避開常規Google搜索的結果。我把這個在我的robots.txt文件希望，因爲我指定的網頁，我想谷歌CSE在設置

User-agent: * 
Disallow:/

我猜谷歌CSE機器人也必須服從機器人抓取谷歌CSE機器人會忽略它。文本。那麼是否有辦法讓我的網頁遠離搜索引擎搜索，但Google CSE仍然能夠對其進行索引？ TIA！

Answer 1

這個問題沒有解決方案，符合你想要的。我也有相同的情況，我只需要自定義搜索。不幸的是，谷歌的crawlers列表沒有顯示谷歌自定義搜索的特定機器人。阻止Googlebot會同時殺死本地搜索和自定義搜索。