內容聚合器服務策略

我爲使用php/Mysql的客戶端構建了RSS，Twitter和其他內容聚合器。它通常涉及一個cron作業，一些feed解析並將數據插入到數據庫中以供存儲和稍後重新發布，或刪除或存檔等。沒有什麼突破性的。內容聚合器服務策略

但是現在我的任務是爲公衆構建一個聚合器服務。我想這需要迅速擴展，因爲每個有權訪問該服務的人都可以添加幾十個甚至幾百個源數據源。在幾個月內，我們可能會定期解析1000年的飼料，一年之內可能會分解1000次，或者更多的運氣。

我猜最終的模型是類似谷歌讀者的東西。

那麼，這是什麼策略？多個重疊的cron，持續運行和閱讀提要並連接到API以提取內容？我應該計劃運行Elastic Cloud的多個實例還是需要增長？

簡短的回答是：隊列 – zerkms 2011-12-15 22:02:43

我不會重疊crons，最終會變得非常討厭。我想你應該有一個系統發送信息與Ajax和多個服務器接受並呈現它，如果需要返回操作和結果。另一方面，全球有許多雲解決方案，可能會更好。

2011-12-15 22:55:33

你有沒有計時解析一個feed需要多長時間？根據您檢查Feed更新的頻率，甚至100,000條Feed也不會讓我感到太過分。你確定一個更復雜的系統是必要的嗎？如果是這樣，您可以考慮一個更簡單的解決方案，例如將一臺服務器限制爲一定數量的提要，並隨着提要的增加向其投擲更多硬件。亞馬遜對我來說會很棒。

2011-12-16 05:34:22 Julien

好像OP由隊列滿足（如果你與你的最終解決方案更新您的問題，這將是很好）

2012-01-04 20:12:48 zerkms

回答