指示搜索引擎機器人等

Question

短篇小說：
我的網站預先生成基於用戶頁面submited數據，有時這種緩存有發生這種情況時它會殺死一個super computer除非我controled統計的量的量被清除立即生成。

問題：
現在到了搜索引擎機器人擊中部位不斷（由於頁面，搜索引擎機器人抓取其漂亮的常數的絕對量）。這裏的問題是，他們會用盡我所有的「生成」插槽，真正的用戶將留下一個頁面，上面寫着「bla bla，please wait」。

更多鈔票的解決方案：
我可以basicly返回503到機器人，而無需他們給了我否定的排名對於具有不穩定的網站？
還是有人想出了一些其他解決方案？

Answer 1

緩存被立即清除的重要性如何？如果您的緩存支持它，則可以將所有緩存的頁面標記爲「髒」，並在真實用戶下次訪問時重新生成它們;如果一個機器人在此期間訪問，則爲他們提供陳舊的頁面。