我可以使用NOINDEX元標籤存儲頁面嗎？

Question

我正在做一個webcreawler，現在我試圖按照robots.txt和元標記NOINDEX和NOFOLLOW。

NOFOLLOW說我不要按照頁面中的鏈接，而是NOINDEX？
據我所知，這是不索引搜索頁面，但我不會做任何搜索，只存儲在數據庫中的頁面。

我會不尊重NOINDEX標記，如果我存儲在數據庫中或這隻適用於搜索？

Answer 1

沒有特別的理由不存儲它。只要您不索引它並將其返回到搜索結果中即可。除非您將其作爲搜索結果返回，否則您不會不尊重NOINDEX的含義。