Ajax生成內容，抓取和黑名單

我有一個用戶列表頁面，列出用戶在一個ajax表（與分頁和更多信息的東西...）。

該網頁的網址是：由AJAX創建 /用戶列表

用戶列表。當用戶點擊一個用戶時，他被重定向到一個頁面，該頁面的URL爲：/ member/memberName

所以我們可以在這裏看到，ajax用於生成內容並且不管理導航（用＃字符）。

我想檢測機器人索引所有頁面。

所以，在ajax我想顯示一個ajax表與分頁和酷ajax effetcs（更多信息...），當我檢測到一個機器人我想顯示所有用戶（無分頁）與成員的鏈接像這樣的頁面：

<a href="/member/john">John</a><a href="/member/bob">Bob</a>...

你覺得我可以黑名單這種技術？如果你這麼認爲，你能否通過保留這些乾淨的URL並且不重新開發用戶列表（沒有Ajax）來提供替代解決方案？

也許使用onclick的<a href=""></a>網址來觸發您的AJAX腳本？像

<a href="/some/url" onclick="YourFancyFunction();return false;">Some URL</a>

我不認爲谷歌會懲罰你這個，你主要使用JScript的，但是你確實提供了回落爲他們的機器人，讓你的網站沒有得到任何更少的訪問。

編輯
好吧，我誤解了。那麼我的猜測就是你基本上有兩種選擇：
1.編寫你的站點的一個不同的部分，在那裏機器人結束，或者， 2.重寫你當前的站點，例如總是給一個'完整'頁面，帶一個選項只能得到，比如內容div。然後你可以只用JavaScript獲得內容，但機器人總是會獲得一個不錯的頁面。

2011-02-15 13:09:41 Zsub

感謝您的回答，但我不能這樣做，因爲就像我在我的帖子中所說，ajax版本會生成內容。所以，我必須爲機器人生成另一個內容。 – 2011-02-15 13:22:55

如果您可以爲機器人生成內容，那麼您可以爲每個人生成內容，然後逐步增強。建立在有效的東西上。 http://icant.co。uk/articles/pragmatic-progressive-enhancement /＃build – Quentin 2011-02-15 13:38:55

谷歌支持的規範，使AJAX抓取：

我做了一個實驗，它的工作原理：

由於這是谷歌的規範，你不會受到懲罰（除非你濫用）。

說的是，目前只有Google支持它（AFAIK）。

此外，我認爲遵循漸進式增強的概念是一種更好的方法。也就是說，創建一個可用的HTML網站，然後使JavaScript增強它

2011-02-15 15:56:08 Tiggerito

回答