我們可以阻止Googlebot抓取舊的pdf網址

-2

在我的網站中，它們是一個鏈接到PDF的按鈕。假設按鈕上的當前PDF網址爲http://www.abc.come/wp-content/uploads/2016/09/xyz.pdf，並且此網址的谷歌機器人已經抓取。現在從管理員月後，管理員上傳新的PDF說http://www.abc.come/wp-content/uploads/2016/09/xyz-latest.pdf和更新按鈕上的網址。我們可以阻止Googlebot抓取舊的pdf網址

問題的原因是Googlebot仍繼續抓取舊網址與xyz.pdf和網站管理員工具給予404。

我們怎樣才能使Googlebot的停止抓取舊網址，抓取新的。

謝謝。你可以。

來源

2016-09-28 sahil monpara

使用重定向？也沒有編程相關。 – PeeHaa

404是被刪除的網址的正確迴應，因此無需更改該網址。 Google需要抓取網址以獲取404並瞭解它已被刪除。網站站長工具中的404報告只是爲了讓您知道您的網站上發現了什麼（或不是）。 404不會損害您的網站 – user29671

-1

是的，你可以。

在站長去谷歌首頁 - >刪除網址。從這裏刪除你的網址，然後從你的應用程序。適用於我。

來源

2016-09-29 07:25:37

這不是一個正確的使用清除工具。沒有必要使用搜索控制檯中的刪除工具查找已刪除的網址。沒有東西可以刪除，谷歌已經爬過並且看到了404. – user29671

，您可以阻止它重新抓取頁面，並最終在幾次抓取後將其從SERP中移除。這是它的工作原理，據我所知 –

不，被移除工具移除的網址仍然可以被抓取。他們實際上並沒有刪除，他們只是隱藏在搜索結果中。請閱讀此處https://webmasters.googleblog.com/2011/05/do-404s-hurt-my-site.html並查看該頁面上的最後一個問題>問：我可以使用Google的URL清除工具製作404錯誤從我的帳戶中消失得更快？ A：不;網址刪除工具會從Google的搜索結果中刪除網址，而不是從網站站長工具帳戶中刪除。 – user29671

-1

我有同樣的問題，我的解決辦法是在.htaccess與410（「水漲船高」）的StatusCode的條目。一段時間後谷歌停止爬行。但我也看到Google會在404時停止抓取。但在我的網站上，它會持續抓取404個網站。

來源

2016-09-29 07:29:18

如果這意味着您將404更改爲410重定向，那麼您將重定向301/302而不是4xx。哪一個不對。 – user29671

沒有，這意味着Apache發送一個410頭，而不是404。所以Google知道該文件實際上存在，但現在它已經消失。 –

如果你重定向了它，就像你說的「在.htaccess中重定向」 – user29671

我們可以阻止Googlebot抓取舊的pdf網址

回答

相關問題