正確nginx的配置，以防止某些文件夾

Question

我試圖阻止的內容索引中的某些文件夾與x-robots tag和Nginx使用以下配置的索引：

location ~ .*/(?:archive|filter|topic)/.* { 
add_header X-Robots-Tag "noindex, follow";  
} 

內容保持索引，我不能調試Nginx配置。

我的問題：我使用的配置是否正確，我應該等到googlebot重新抓取內容並取消索引內容？或者我的配置錯誤？

Answer 1

你寫的配置是正確的。我會給出一個警告（假設你的配置是其他標準的）：

當結果代碼是200,201,204,206,301,302,303,304,307時，它只輸出X-Robots-Tag。或307（例如，內容匹配磁盤文件，發佈重定向等）。所以，如果你有一個/archive/index.html，打到http://yoursite.com/archive/將會給頭。如果index.html不存在（404），您將看不到標籤。

的always參數將輸出所有響應代碼標題中，假設位置塊進行處理：

location ~ .*/(?:archive|filter|topic)/.* { 
    add_header X-Robots-Tag "noindex, follow" always;  
} 

另一種選擇將保證報頭是上一個URI匹配輸出。

http { 
    ... 
    map $request_uri $robot_header { 
     default ""; 
     ~.*/(?:archive|filter|topic)/.* "noindex, follow"; 
    } 

    server { 
     ... 
     add_header X-Robots-Tag $robot_header; 
     ... 
    }