2010-10-22 173 views
2

我一直在谷歌搜索了一段時間,但我想我正在使用一組錯誤的關鍵字。有沒有人知道這個URI,讓我請求Facebook允許我抓取他們的網絡?上次我使用Python來做到這一點,有人建議我看看它,但我也找不到那篇文章。Facebook的抓取權限請求表單?

回答

5

令人吃驚的是,在他們的robots.txt給了。

你要找的這個鏈接是這個:

http://www.facebook.com/apps/site_scraping_tos.php

如果你不是已經是一個龐大的組織,不希望被列入白名單明確那裏。根據robots.txt和TOS,如果您沒有明確列入白名單,則根本不允許您抓取。您必須改用API。

不要想着假裝成爲白名單爬行者之一。 Facebook將每個爬蟲的IP列入白名單,而其他任何類似抓取的爬蟲都會立即進行永久禁用。一段時間用戶只是點擊過快就偶爾會遇到這種情況。