社交媒體監控網站如何獲取大量的用戶帖子？

Question

市場上有很多社交媒體監控網站。我非常好奇這些網站如何獲取如此龐大的用戶數量。他們如何知道應該提取哪個用戶的帖子？

例如，如果一個網站需要我使用我的Facebook帳戶登錄，並且它只是提取/分析我或我朋友的帖子。這是合理的。但是前幾天我嘗試了幾種社交媒體監控服務，我發現有大量的數據提取，包括各種用戶。

服務如何知道應該提取哪些用戶的數據？如果他們獲取某個社交網站的所有帖子，他們如何實現該目標？社交網站的API是否總是禁止應用程序大量獲取數據？

Answer 1

社交雷達應用程序主要是爬蟲驅動的。這與Google.com搜索引擎的工作方式類似。

谷歌並不擔心他們抓取哪些用戶的內容，他們只是索引他們可以找到的內容。內容通常是在生態系統中構建的，所以如果你能找到對話的一部分，你通常也可以發現其餘的內容。這在垃圾郵件過濾的過程中也是如此並且有用。

API也被使用，條款因服務而異。