robots.txt

0熱度

2回答

我目前編輯我的robots.txt它看起來像這樣： User-agent: * Disallow: /adm/* Disallow: /download/* Disallow: /cache Disallow: /files Disallow: /viewforum.php?f=146 Disallow: /ucp.php Disallow: /mcp.php Disallow:

0熱度

1回答

Google忽略新的robots.txt文件 - 不會在SERPs中顯示信息

我正在運行丹麥航班搜索引擎。我之前設置了一個有缺陷的robots.txt文件，最終刪除了我的大部分網站的標題標籤和描述。現在我已經解決了robots.txt來此： # Robots file for www.billigeflybilletter.dk User-Agent: * Disallow: /wp-admin/ Disallow: /hoteller Allow: /wp-ad

-2熱度

1回答

Google索引

我有一個關於Google索引的新手問題。我們在LAMP堆棧上創建了一個Web應用程序，其中應用程序和wordpress着陸頁共享相同的服務器。我的問題是：將索引登錄頁面時，Google機器人會通過登錄鏈接並開始索引應用程序和用戶帳戶？因爲我們不希望這樣。我在問，因爲我認爲如果我們使用robots.text文件，這可能意味着網站中最活躍和最重要的部分不會被視爲bt Google，而是所有來到目

1熱度

1回答

Google'站點地圖包含受robots.txt阻止的網址'警告

問題是，使用Disallow: /將robots.txt列入白名單無法按預期工作。谷歌有限制的robots.txt規則問題： User-agent: * Host: sitename Allow: /$ Allow: /sitemap.xml Allow: /static/ Allow: /articles/ Disallow:/ Disallow: /static/*.js$

0熱度

1回答

使用Laravel停止Google索引資源路由

我剛剛推出了一個鏈接策略網站，該網站使用控制器將用戶重定向到鏈接。我已經建立了一個路線： Route::get('/redirect/{id}', '[email protected]'); 這需要從數據庫中的鏈接行的ID和用戶到該URL重定向。問題是，我可以看到谷歌索引所有這些路線。如果我做網站：domain.com它顯示我所有的數據庫中的鏈接與我的網址如： /redirect/10

0熱度

1回答

robot.txt允許而不是Disallow

我的應用程序有幾個動態URL所以有沒有允許在robots.txt而不是Disallow？像 User-agent: * allow:/ allow: /blog 或我必須做這樣的事情？ User-agent: * Disallow: /users/*

3熱度

2回答

如何在啓動scrapy shell時禁用robots.txt？

我使用的Scrapy外殼沒有多個網站的問題，但是當機器人（robots.txt）不允許訪問網站時，我發現問題。如何禁用Scrapy的機器人檢測（忽略存在）？預先感謝您。我不是在談論通過Scrapy創建的項目，但Scrapy shell命令：scrapy shell 'www.example.com'

1熱度

1回答

放置robots.txt以防止抓取的位置

我正在使用robots.txt文件來防止抓取工具抓取特定頁面。當我想防止爬行在myfolder一切/folder/myfolder/我可以把robots.txt在/folder/myfolder/robots.txt寫： User-agent: * Disallow:/ 否則我將不得不把robots.txt在/robots.txt，並設置： User-agent: * Disallow: /

0熱度

2回答

如何隱藏爬蟲和黑客服務器上的內容

我在我的網上商店銷售電子書。當買家已經完成，他得到的電子郵件，像這樣的下載鏈接： http://www.my_domain.com/media/books/b476de3dd02e72a727bb762371d6bbad.pdf 每個文件都有一個神祕的名稱，如b476de3dd02e72a727bb762371d6bbad以防止用戶猜測的名字，而不是my_book_name.pdf。在rob

0熱度

1回答

即使允許在Robot.txt中後，Google Bot仍然無法讀取我的CSS和js

即使我允許它在robot.txt文件中後，Google bot仍不能讀取我的css和js。該網站建立在Wordpress中。以下是我的robot.txt文件。 User-agent: * Allow:/ Disallow: /wp-admin/ Disallow: /timeclock/ Disallow: /staging/ User-agent: Mediapartners-Go