RSS訂閱1秒鐘以內更新

Question

我有一大堆RSS提要，我需要每秒更新一次或更少。是否有任何解決方案，例如部分檢查或更改，檢查文件大小或修改RSS源以僅顯示上一篇新聞文章以減少帶寬？這個問題真的是通用的解決方案，但特定於RSS源，請隨時添加我可能錯過的另一個標籤。

Answer 1

不是一個真正的答案，而是需要長時間評論。

帶寬

讓我們做一些計算：一個典型的RSS提要可繞200kB的地方（圖片除外）。每秒輪詢1000次將需要200MB/s的帶寬。這可以通過專業的互聯網連接進行。但是，你需要一次連接多個連接，所以你需要一個多線程設置。如果處理時間需要很多CPU處理能力，這種設置最終會使它更容易在多臺服務器上進行擴展。

請注意，這是沒有圖像。

看看這些規格並注意諸如skiphours和ttl之類的東西。提供有關輪詢服務的提示。

https://cyber.harvard.edu/rss/rss.html

處理

RSS項通常有一個pubDate，你可以用它來排除在你的處理流程的項目。這不應該是一個瓶頸。如果您將數據保存到數據庫中，您可能需要深入瞭解以優化它。

潛在的問題

• 阻塞由於過度調用飼料（尤其是如果他們使用的pubDate（我知道CNN傾向於這樣做）請求的日期/時間內
• Advertisments。