robots.txt

2熱度

1回答

robots.txt - noindex圖像，noindex管理 - wordpress

我目前使用robots.txt文件，不允許索引我的WP管理員。目前我的機器人文件如下所示： User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 我希望搜索引擎也停止索引我的圖像。這些是我的私人投資組合圖片，我不希望它們出現在任何在線搜索中。所以我將添加對Google圖像機器人和Bing機器人的限制。我的Ro

1熱度

1回答

多機器人Meta標籤

我最近繼承了一個代碼庫，發現這種寶石： {% if PAGE_EXTRAS.hide_from_sitemap %} <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOI

0熱度

2回答

最好的robots.txt練習隱藏祕密文件夾

我在我的網站有一個祕密文件夾，我不想讓搜索引擎知道它。我沒有在robots.txt的Disallow規則中放置文件夾名稱，因爲在robots.txt中寫入此文件夾名稱意味着告訴我的訪問者該祕密文件夾。我的問題是，即使我沒有任何鏈接發佈到這個文件夾，搜索引擎是否能夠知道這個文件夾/抓取它？

1熱度

1回答

robots.txt中的指令順序是否互相覆蓋或相互補充？

User-agent: Googlebot Disallow: /privatedir/ User-agent: * Disallow:/ 現在，什麼是不允許的Googlebot：/ privatedir /，或整個網站/？

0熱度

1回答

谷歌指數在我的網站上返回不安全結果

我有一個網站Joomla的基礎，有些人開始說我的網站在谷歌或Bing搜索時被重定向到「不安全的內容」，所以我做了所有必要的檢查，發現我有大約100個文件.htacess重定向到那個不安全的結果。我這樣做：點1 我做了的Joomla安裝的備份和數據庫的計算機。第2點。我刪除了這些數據庫和public_html網站本身第3點。當我搜索谷歌，我仍然有同樣的問題，所以我去了：https://w

0熱度

2回答

如果我在robots.txt中選擇的唯一禁止是爲了iisbot，爲什麼googlebot會阻止我的所有網址？

我有以下robots.txt一年多了，看上去似乎沒有問題： User-Agent: * User-Agent: iisbot Disallow:/ Sitemap: http://iprobesolutions.com/sitemap.xml 現在我從robots.txt測試 Googlebot爲什麼會阻止所有收到以下錯誤我的網站是否唯一禁止我選擇的是iisbot？

0熱度

1回答

不允許路線

如果我有像/info/page1和/info/page2，但路線/info路線不存在，如果我寫robots.txt中Disallow: /info，機器人會去/info/page1？

-1熱度

1回答

使用robots.txt阻止搜索引擎的url 100s

我在我的網站上有大約100頁的內容，我不想在google中被索引...有什麼方法可以用robots.txt來阻止它。 .It'd很煩人編輯每個頁面，添加noindex元標記.... 所有這一切我想阻止是這樣的URL ... www.example.com/index-01 html的 www.example.com/index-02.html www.example.com/index-03.ht

1熱度

1回答

如何使用PHP解析robots.txt文件？

我想解析一個網站的robots.txt文件（其中Facebook是一個隨機的網址）。我想擺脫任何不適合用戶代理的行（如本例中的前兩個）。所以也許擺脫任何不以A，D或U開頭的行？我也想讓每個用戶代理自己的關聯數組的標題是用戶代理即得到所有的谷歌機器人允許和不允許的網址我將print_r $ arr [googleBot]。這是我的代碼到目前爲止！ <?php //URl to start

0熱度

2回答

當被拒絕的頁面（機器人）仍在sitemap.xml中時會發生什麼？

我想阻止頁面被索引，連同它的資產（圖片）。因此，如果我告訴抓取工具跳過該頁面，但該頁面仍然在sitemap.xml中註冊，那麼該頁面上的任何信息都會被索引？