做搜索引擎機器人 - 爬蟲 - 蜘蛛 - 等有他們的JavaScript？

我不知道搜索引擎機器人如何工作，我的瀏覽器記錄中機器人的數據庫條目是例如Googlebot的，MSNBot會，BingBot等做搜索引擎機器人 - 爬蟲 - 蜘蛛 - 等有他們的JavaScript？

所以我不知道他們是否有啓動Javascript或任何東西。

爲什麼我想知道他們是否已經啓用了JavaScript？因爲我想要在我的網站上使用Javascript。我所做的是做到這一點，我有一個'覆蓋'div與短消息，我設置爲'顯示：無'與JavaScript頁面加載。因此，如果沒有Javascript，疊加層將不會消失，並且該網站中沒有任何內容可點擊或任何內容。

所以機器人可以抓取還是我的網站甚至使用JavaScript要求的事情我做？因爲我希望谷歌和其他好的機器人能夠抓取我的網站。

來源

2013-05-07 Jo E.

是的。他們沒有看到該網站。他們解析html內容。是的，他們有可能通過模仿真實用戶的JavaScript文件來蜘蛛。 – 2013-11-07 15:24:41

搜索機器人可以和會抓取你的網站，但他們不理解JavaScript，因此他們會忽略任何JS。然而，他們應該沒有問題抓取您描述的網頁。

來源

2013-05-07 08:52:41 AppleDash

你應該提到一些機器人開始執行一些JavaScript，但它絕不是標準的 – Bojangles 2013-05-07 08:56:02

實際上，Google-bot非常擅長「運行」JS代碼！ – walialu 2013-05-07 08:57:52

@Walialu從我個人的經歷來看，Google一直無法在我的網站上解析JS。 – AppleDash 2013-05-07 08:58:56

據我所知，搜索引擎可以解析內容識別不同的內容和行爲。他們也可能會懲罰特定的隱藏內容。我懷疑谷歌是一個非常聰明的搜索引擎，並有能力識別一些JavaScript，但他們的系統的內部行爲是我們所不知道的。

來源

2013-05-07 08:56:51

我上面要求JS將其分類爲「隱藏內容」的技巧？ – 2013-05-07 08:58:59

只要您用於功能目的就沒關係。例如，不要用很多關鍵字來填充隱藏的內容。 – 2013-05-07 09:17:03

是，自2010年以來至少Googlebot的被稱爲對理解（一些）的JavaScript創建沒有直接聯繫，但他們不會需要你的JavaScript來閱讀的鏈接，因爲這些都是在HTML清晰可見。關閉使用JavaScript瀏覽的用戶也是如此。

來源

2013-05-07 08:59:30

事實上，一個機器人不會看到一個阻止頁面其餘部分的彈出窗口。他們只是看到了HTML。 – ZippyV 2013-05-07 09:18:57

做搜索引擎機器人 - 爬蟲 - 蜘蛛 - 等有他們的JavaScript？

回答

相關問題