測試我的網站如何在程序中顯示

網站不僅可以被用戶在瀏覽器中訪問，還可以被程序，機器人和爬蟲程序訪問。我有一個運行在Google App Engine上的網站，裏面有python，它有一個由python程序通過合併，合併和循環字符串生成的非靜態HTML頁面。但是，它們也不是動態頁面，因爲不需要用戶輸入來生成這些頁面。 python的內容生成只是爲了方便，簡潔和易於維護，並且完全由url設置。測試我的網站如何在程序中顯示

一些搜索引擎不能索引動態頁面。我想知道這些網頁是否符合「動態」的標準，即它們是否可以被這些機器人的通常元數據和內容檢索或編入索引，並且通常需要一種方法來檢查網址如何出現在機器人上或搜索引擎使用的抓取工具，以便我可以看到某個網址何時無法抓取。

如果有人知道任何可用的資源或技術，這將非常有幫助。

來源

2012-01-09 Abhranil Das

Lynx是一個基於文本的瀏覽器，可以讓你非常清楚searchbot如何看你的頁面。古代，嘗試和真實。

來源

2012-01-09 21:25:18

我知道Lynx，但我從來沒有想過要試用它，因爲它似乎只是我的另一個瀏覽器。但是，謝謝你的建議，我會嘗試一下，看看我得到了什麼結果。 – 2012-01-09 21:28:44

某些搜索引擎不能索引動態頁面。

不正確。如果服務器通過執行腳本或者只是讀取靜態文件來獲取內容，客戶端就不會知道也不關心。

大多數搜索引擎不會執行客戶端JavaScript。大多數搜索引擎不會提交表單。

如果您的內容可通過以下鏈接訪問（位於HTML中），則搜索引擎可以獲取頁面。

來源

2012-01-09 21:27:28 Quentin

這是照亮，謝謝。 – 2012-01-09 21:34:49

測試我的網站如何在程序中顯示

回答

相關問題