如何管理PhantomJS實例的「池」

Question

我正在計劃一個內部使用的web服務，它接受一個參數，一個URL，並從該URL返回代表解析的 DOM的html。通過解析，我的意思是web服務首先會在該URL上獲取頁面，然後使用PhantomJS來「呈現」該頁面，然後在執行完所有DHTML，AJAX調用等之後返回生成的源代碼。然而，在每個請求的基礎上啓動幻像（我現在正在做）是方式太慢了。我寧願有一個PhantomJS實例池，其中一個始終可用來爲我的web服務提供最新的調用。

之前有沒有做過這方面的工作？我寧願將這個web服務基於其他人的工作，而不是從頭開始編寫自己的池管理器/ http代理服務器。

更多上下文：我已經列出了兩個類似的項目，我已經在下面看到了，並且爲什麼我避免了每個項目，結果導致這個關於管理PhantomJS實例池的問題。我從中可以看到它對於在頁面上執行腳本具有很好的功能，但它不會嘗試複製瀏覽器行爲，所以如果我將它用作通用「DOM解析器」，那麼「 d最終需要大量額外的編碼來處理各種邊界情況，事件調用等。我看到的第一個例子是，我必須手動調用我使用節點設置的測試應用程序的body標記的onload（）函數。這似乎是一個深刻的兔子洞的開始。

Selenium - 它只有很多更多的移動部件，因此設置池來管理長期居住的瀏覽器實例將比使用PhantomJS更復雜。我不需要它的任何宏錄製/腳本優勢。我只是想要一個web服務，就像獲取網頁並解析它的DOM一樣，就好像我正在用瀏覽器瀏覽該URL（或者如果我可以讓它忽略圖像等甚至更快）。

Answer 1

async JavaScript library適用於節點，具有queue功能是這種東西非常方便：

queue(worker, concurrency)

Creates a queue object with the specified concurrency. Tasks added to the queue will be processed in parallel (up to the concurrency limit). If all workers are in progress, the task is queued until one is available. Once a worker has completed a task, the task's callback is called.

一些僞代碼：

function getSourceViaPhantomJs(url, callback) { 
    var resultingHtml = someMagicPhantomJsStuff(url); 
    callback(null, resultingHtml); 
} 

var q = async.queue(function (task, callback) { 
    // delegate to a function that should call callback when it's done 
    // with (err, resultingHtml) as parameters 
    getSourceViaPhantomJs(task.url, callback); 
}, 5); // up to 5 PhantomJS calls at a time 

app.get('/some/url', function(req, res) { 
    q.push({url: params['url_to_scrape']}, function (err, results) { 
    res.end(results); 
    }); 
}); 

退房的entire documentation for queue at the project's readme。

Answer 2

如果您使用的是nodejs，您可以使用https://github.com/sgentle/phantomjs-node，這將允許您將任意數量的phantomjs進程連接到主要NodeJS進程，因此可以使用async.js和大量節點好東西。

Answer 3

我設置了一個PhantomJs雲服務，它幾乎可以滿足您的要求。我花了大約5個星期的工作。

您遇到的最大問題是已知問題memory leaks in PhantomJs。我爲此工作的方式是每50次調用一次我的實例。

您將遇到的第二大問題是每頁處理非常CPU和內存密集型，因此每個CPU只能運行4個左右的實例。

你會遇到的第三大問題是PhantomJs在頁面結束事件和重定向方面非常古怪。您會被告知您的網頁在實際顯示之前完成了渲染。 There are a number of ways to deal with this，但不幸的是沒有'標準'。

您需要處理的第四大問題是在nodejs和phantomjs之間進行互操作，幸好有a lot of npm packages that deal with this issue可供選擇。

所以我知道我有偏見（正如我寫的解決方案，我要建議），但我建議你檢查PhantomJsCloud.com這是免費的光使用。

2015年1月更新：我碰到的另一個（第5個？）大問題是如何從管理器/負載均衡器發送請求/響應。最初我使用PhantomJS的內置HTTP服務器，但仍然遇到它的限制，特別是在最大響應大小方面。我最終將本地文件系統的請求/響應寫爲通信線路。 *實施該服務所花費的總時間可能表示爲20個人周問題，可能需要1000小時的工作時間。 *和FYI我正在爲下一個版本做一個完整的重寫....（進行中）

Answer 4

作爲@JasonS偉大答案的替代品，您可以嘗試我建立的PhearJS。 PhearJS是用NodeJS爲PhantomJS實例編寫的主管，並通過HTTP提供API。它可從Github開放源代碼。

Answer 5

如果你正在使用的NodeJS爲什麼不使用硒的webdriver

1. 運行一些phantomjs實例作爲webdriver的 phantomjs --webdriver=port_number

2. 每個phantomjs實例創建PhantomInstance

   function PhantomInstance(port) { 
       this.port = port; 
   } 
   
   PhantomInstance.prototype.getDriver = function() { 
       var self = this; 
       var driver = new webdriver.Builder() 
        .forBrowser('phantomjs') 
        .usingServer('http://localhost:'+self.port) 
        .build(); 
       return driver; 
   } 
   

   ，並把所有的他們到一個陣列[phantomInstance1，phantomInstance2]

3. 創建從陣列得到免費phantomInstance和

   var driver = phantomInstance.getDriver(); 
   

Answer 6

對於我的碩士論文dispather.js，我開發出不正是這個庫phantomjs-pool。它允許提供映射到PhantomJS工作人員的工作。該庫處理作業分佈，通信，錯誤處理，日誌記錄，重新啓動等等。該圖書館已成功用於抓取超過一百萬頁。

實施例：

下面的代碼執行谷歌搜索數字0到9，並保存頁面的屏幕截圖作爲googleX.png。並行抓取四個網站（由於創建了四名工作人員）。該腳本通過node master.js啓動。

master.js（在Node.js的環境中運行）

var Pool = require('phantomjs-pool').Pool; 

var pool = new Pool({ // create a pool 
    numWorkers : 4, // with 4 workers 
    jobCallback : jobCallback, 
    workerFile : __dirname + '/worker.js', // location of the worker file 
    phantomjsBinary : __dirname + '/path/to/phantomjs_binary' // either provide the location of the binary or install phantomjs or phantomjs2 (via npm) 
}); 
pool.start(); 

function jobCallback(job, worker, index) { // called to create a single job 
    if (index < 10) { // index is count up for each job automatically 
     job(index, function(err) { // create the job with index as data 
      console.log('DONE: ' + index); // log that the job was done 
     }); 
    } else { 
     job(null); // no more jobs 
    } 
} 

worker.js（在PhantomJS的環境下運行）

var webpage = require('webpage'); 

module.exports = function(data, done, worker) { // data provided by the master 
    var page = webpage.create(); 

    // search for the given data (which contains the index number) and save a screenshot 
    page.open('https://www.google.com/search?q=' + data, function() { 
     page.render('google' + data + '.png'); 
     done(); // signal that the job was executed 
    }); 

};