robots.txt

0熱度

2回答

我有多個門戶DotNetNuke的安裝： domain1.com domain2.com domain3.com等服務器是32個演出，8個核心。我有一個robots.txt文件。當谷歌開始爬行時，我發現多個谷歌IP地址的CPU時間達到100％。根據IIS的說法，它每次嘗試抓取的網址都是/lmm-product-service/elmah.axd/detail?id=af51e96f-d0cd-

0熱度

1回答

如何停止索引鏈接與包含子文件夾

我在我的網站應該指數谷歌真正的鏈接，（例如）： www.mywebsite.com/title,id,sometext,sometext 不料谷歌搜索索引我的網站的子文件夾whitch不應該例如發生： www.mywebsite.com/include/title,id,sometext,sometext www.mywebsite.com/img/min/title,id ，sometext，s

0熱度

1回答

將Drupal robots.txt禁止仍記錄在Apache日誌文件？

我在Drupal網站的特定代理中爲robots.txt設置了一些規則。我有一個問題。當這個代理試圖訪問網站時，這個訪問是否仍然會記錄在我的apache access_log文件中？

0熱度

1回答

設置爲NOINDEX谷歌的結構化數據

我用我的網站上的結構化數據的多個塊： <script type="application/ld+json"> { "@context": "http://schema.org", "@type": "Event", "name": "Something", "url": "http://www.example.com/?id=123" }

-1熱度

1回答

不允許所有子robots.txt的格式URLsbut不是根URL本身

我的應用程序的URL像下面 http://example.com/app/1 http://example.com/app/2 http://example.com/app/3 ... http://example.com/app/n 現在我想阻止抓取這些網址，但不是http://example.com/app 我怎麼可以這樣使用robots.txt

-1熱度

1回答

禁止搜索帶有機器人的網站上的鏈接txt

我想禁止我的網站上的搜索鏈接robots.txt。後，我點擊搜索提交按鈕，我的URL看起來像： example.com/searching?k=something 我怎麼能寫這個URL地址到我的robots.txt文件？我的robots.txt文件看起來是這樣的： User-agent: * Disallow: /admin_folder Sitemap: https://www.do

0熱度

2回答

如何在robots.txt中添加`nofollow，noindex`所有頁面？

我想在製作過程中將nofollow和noindex添加到我的網站中。客戶要求我使用這些規則。我知道 <meta name="robots" content="noindex,nofollow"> 但我只能訪問到robots.txt文件。有誰知道我可以使用noindex, nofollow規則通過robots.txt文件的正確格式嗎？

0熱度

1回答

域名別名，sitemaps.xml和robots.txt

我正在尋找添加引用多個域名別名的網站地圖，這是從Laravel框架內分離出來的邏輯。在我的robots.txt文件中 - 但我不太確定這樣做的正確方法。 Sitemaps的存在和存在和正確，但只是不確定的格式谷歌預計...所以真正尋找基於搜索引擎優化的答案，而不是實現這一目標。我想我能做到這一點爲robots.txt 即 Sitemap: https://www.main-domain.com/

0熱度

1回答

如何排除抓取工具以使用robots.txt爲我的網站的特定頁面編制索引？

我想這對我的根robots.txt： User-agent: * Allow:/ Disallow: /*&action=surprise Sitemap: https://example.com/sitemap.php 我想從檢索網址像排除：從access.log文件我再次看到一些機器人擊中這些網址。我做錯了什麼或只是有些機器人沒有跟隨我的robots.txt設置？

1熱度

1回答

使用wget或curl來測試網站的.htaccess + robots.txt

我想調試我的網站的.htaccess + robots.txt，我想用cURL或wget嘗試訪問使用robots.txt阻止的文件，或者應該通過的.htaccess重定向到另一個位置的網頁我已經在我的robots.txt以下尚未 User-agent: * Disallow: /wp/wp-admin/ ，我仍然能夠抓取 wget的 $ wget http://xxxx.com/wp/wp