如何使用node.js來刮取需要驗證的網站？

Question

我遇到過許多使用node.js.的tutorials explaining how to scrape public websites that don't require authentication/login。

有人可以解釋如何刮取需要使用node.js登錄的網站嗎？

Answer 1

使用Mikeal's Request庫，您需要啓用Cookie支持這樣的：

var request = request.defaults({jar: true}) 

所以，你首先應該在該網站上創建一個用戶名（手動），使開機自檢時傳遞的用戶名和密碼PARAMS請求該網站。之後，服務器將響應請求會記住的cookie，以便您可以訪問要求您登錄該網站的頁面。

注意：如果在登錄頁面上使用reCaptcha之類的東西，則此方法不起作用。

Answer 2

或者使用superagent：

var superagent = require('superagent') 
var agent = superagent.agent(); 

agent是那麼持久的瀏覽器，它會處理獲取，設置cookies，參照網址等只需agent.get，agent.post()正常。