robots.txt中

Question

指定變量我的URL結構設置兩個平行（都通向同一個地方）：

• www.example.com/subname
• www.example.com/123

麻煩的是是，蜘蛛爬行成這樣的東西：

• www.example.com/subname/default_media_function
• www.example.com/subname/map_function

注意，名爲「子名」代表數千名在我的網站各個頁面都有相同的功能。

而且他們拋出錯誤，因爲這些鏈接嚴格用於JSON或AJAX的目的，而不是實際的鏈接。我想阻止他們訪問這些網頁，但如果URL包含變量，我該怎麼辦？

這將在robots.txt中工作嗎？

Disallow: /map_function 

Answer 1

你將不得不做

Disallow: /subname/map_function 

機器人將尋找在根級的的robots.txt。此外，他們評估的網址從左到右沒有通配符。

因此，您需要爲所有map_function創建一個位置並排除該位置，或排除所有位置。