使用node.js縮放web刮取網站

Question

我正在開發一個網頁抓取網站以查找可用的遞送餐館。網站搜索最流行的傳遞門戶網站，並將結果顯示在一個頁面中。

該網站託管在Heroku與4 dynos。

http://deliveria.net/#05409-002

當用戶在網站上的要求，它使大約30 HTTP請求來檢索結果。

問題是性能，請求不是很快，每個搜索都可以使其中的30個鎖定應用程序，同時爲單個用戶執行搜索。

我試圖增加Heroku的DYNOS：

heroku scale web=10 

而且我不覺得可察覺的增益。

擴展這種應用程序的最佳方法是什麼？

（我不能使用高速緩存，作爲搜索需要在實時）

當前堆棧：

• Heroku的
• Node.js的
• 表達
• 請求模塊
• EJS
• 推動器
• Redis的

Answer 1

這裏最重要的是要有工人，因爲你必須避免阻斷您的主應用程序事件循環。

嘗試委託可用工作人員之間的30個http請求。也許Kue可以幫助你解決這個問題（你把新的工作推到隊列中，並由工作人員逐一執行）。例如，如果你在Heroku上有10個dynos，那麼使用9代表工作者（即進行30次http搜索）。從用戶的角度來看，重要的是要知道應用程序對他的搜索做出了快速反應（並且不會給他「凍結」的印象），所以也許你想盡快更新他初步結果（例如從30頁中搜索10頁）。你可以通過WebSockets（Socket.IO）做到這一點，甚至顯示一個不錯的圖形化進度條或類似的東西。