好吧，所以我試圖找出一些東西。我處於網站的計劃階段，我想通過JQuery實現「滾動獲取數據」，非常類似於Facebook和Twitter，這樣我就不會一次從數據庫中提取所有數據。搜索引擎優化和AJAX（推特式）
但是我在搜索引擎優化方面存在一些問題，Google如何能夠看到所有的數據？由於頁面會在用戶滾動時自動獲取更多數據，因此我無法使用「轉到第2頁」的樣式包含任何鏈接，我希望Google只索引該頁面。
簡單而巧妙的解決方案的任何想法？
創建一個Google webmaster tools帳戶，爲您的網站生成一個sitemap（手動，自動或使用cronjob - 任何套裝），並告知Google網站管理員工具。當您的網站獲取新內容時更新站點地圖。 Google會抓取此網站併爲您的網站編制索引。
該網站地圖將確保您的所有內容都可以被發現，而不僅僅是Googlebot訪問時發生在主頁上的內容。
鑑於您的問題主要是關於搜索引擎優化，我希望您可以從Jeff Atwood about the importance of sitemaps for Stackoverflow以及它對谷歌流量的影響閱讀這篇文章。
您還應該添加由樣式表隱藏的分頁鏈接，並且當您的無限滾動功能被不使用JavaScript的用戶禁用時，該功能可以作爲回退功能。如果您正在構建網站，這些僅僅是部分，無論如何您的無盡滾動加載，所以確保他們在頁面上是一個不費吹灰之力。
聽起來不錯，但不會Google索引頁面嗎？例如，我不想讓http://site.com/index.php?page=2顯示在搜索結果中。 或者是否有可能通過規範鏈接進行補救？或者這是網站地圖的目的？ – Marcus 2011-03-30 15:23:20
不適用，因爲您應該有[rel = canonical]（http://www.google.com/support/webmasters/bin/answer.py?answer=139394）鏈接，以便主頁上摘錄的內容具有唯一的網址在您的網站上。您也可以將page2 page3鏈接標記爲rel = noindex – jaygooby 2011-03-30 15:26:40
閱讀Jeff關於Stackoverflow和Google的文章（我已經編輯了我的答案）：http://www.codinghorror.com/blog/2008/10 /the-importance-of-sitemaps.html。他對你有着相反的擔心，並認爲分頁是谷歌爲首頁內容編制索引的好方法。網站地圖的添加與索引內容和網站流量的數量有很大不同。 – jaygooby 2011-03-31 21:39:49
您可以使用PHP（或其他服務器端腳本）來檢測您特別想要定位的網絡爬蟲的用戶代理，例如Googlebot。
對於webcrawler，您將不得不使用非基於JavaScript的技術來下拉數據庫內容並佈置頁面。我建議不要爲搜索引擎定位的內容進行分頁 - 假設您沒有對「人」版進行分頁。 webcrawler發現的網址應該與您的（人）訪問者訪問的網址相同。在我看來，頁面應該偏離「人」版本，因爲一次性從數據庫中獲取更多內容。
網絡爬蟲和他們的用戶代理（包括谷歌的）名單是在這裏：
http://www.useragentstring.com/pages/Crawlerlist/
是的，正如別人所說，不要在JavaScript的內容，你想看到在搜索引擎回覆。事實上，在開發人員沒有出現在搜索引擎中的情況下，這種情況非常常見。
所有這一切都伴隨着騎手，它假設你根本沒有分頁。如果你是，那麼你應該使用服務器端腳本來爲你的頁面分頁，以便它們被搜索引擎收錄。另外，請記住要對您爲搜索引擎提供的數據庫進行合理的限制。您不希望它在獲取頁面之前超時。
這是完全正確的。首先，如果我使用Javascript訪問它，請確保您的頁面正常工作。這確保了Googlebot能夠正常工作。那麼，只有那麼你AJAXify。這篇文章需要閱讀webdevs。 http://isolani.co.uk/blog/javascript/BreakingTheWebWithHashBangs – 2011-03-30 15:45:27
當然，我明白了。但重要的是，只有一個頁面被編入索引，因爲內容正在移動（如果您願意，想象一個倒數計時器，並且不顯示舊數據）。我不希望用戶在不再是最新的頁面上登陸。 – Marcus 2011-03-30 16:02:33
使用元標記來說'noindex，跟隨'爲基於「最新」的索引。將每個項目鏈接到僅用於該項目的頁面。 – Quentin 2011-03-30 16:06:15