製作個人資料搜索引擎 - 可搜索？

Question

在社交網絡上，對於用戶個人資料，如果帳戶所有者將個人資料隱私設置給所有人，我們如何製作個人資料搜索引擎？是否像在頁面中添加機器人標籤一樣簡單？那麼，如果用戶更改隱私而無法搜索到，我們會刪除標籤？我需要在我的網站上實現此功能，但我不確定從哪裏開始此事件？

Answer 1

每個配置文件都需要一個唯一的url。這可以通過不同的方式完成（比如mod重寫，ASP.NET路由：http://msdn.microsoft.com/en-us/library/cc668201.aspx等）。如果該頁面不應該被顯示/不公開，當搜索引擎嘗試查看它時，將重定向到一個頁面，該頁面表示該配置文件不可公開查看。

Answer 2

當然你想要解決的一件事是Robots exclusion protocol（又名robots.txt），它指定了搜索引擎爬蟲應該忽略哪些路徑;你應該能夠更新這個每個用戶的喜好，以禁止未來的抓取。

您可能還會看看Google的Sitemaps功能;這允許您向Google推薦 - 即使是那些頁數變化很大的列表 - Google應該抓取哪些網址（在您的情況下是用戶配置文件的網址）。正如他們指出的那樣，這並不能保證每個網址都會被抓取，但它應該有所幫助。

什麼我沒有答案，我很想知道更多有關協議的一些協議，要求搜索引擎移除已經抓取的網址。據我所知，從robots.txt和sitemap.xml中刪除一個頁面並不會立即讓Google從其索引中刪除該頁面，但只會在搜索引擎判定它已過期時纔會被慢慢修剪。另一方面，您的用戶可能希望他們的網頁在檢查到特定偏好時不能被搜索到。您可能需要向用戶介紹這種區別，但我也很好奇它們是否是程序化的方式來處理此問題。 （例如，我相信Twitter有辦法要求Google停止在搜索結果中刪除後返回推文。）