如何避免在javascript中使用網頁抓取時啓動firefox gui

Question

我想要使用大量javascript來取消網頁。在pguardiano的幫助下，我在ruby中擁有這段代碼。

require 'rubygems' 
require 'watir-webdriver' 
require 'csv' 
@browser = Watir::Browser.new 
@browser.goto 'http://www.oddsportal.com/matches/soccer/' 
CSV.open('out.csv', 'w') do |out| 
@browser.trs(:class => /deactivate/).each do |tr| 
    out << tr.tds.map(&:text) 
end 
end 

在大約1小時的睡眠時間的背景下以遞歸方式進行刮取。我沒有紅寶石的經驗，特別是網絡疤痕，所以我有幾個問題。

1. 我怎樣才能避免每次新的Firefox會話打開很多的CPU和內存消耗？

2. 是否可以在不使用GUI的情況下使用firefox引擎？

Answer 1

您可以嘗試headless選項。

require 'watir-webdriver' 
require 'headless' 
headless = Headless.new 
headless.start 
b = Watir::Browser.start 'www.google.com' 
puts b.title 
b.close 
headless.destroy 

一種替代方法是使用selenium server。第三個選擇是使用像Kapow這樣的刮刀。