有沒有任何Java腳本的網頁爬蟲框架

Question

有沒有JavaScript的網頁爬蟲框架？

Answer 1

嘗試PhantomJS。不完全是一個爬蟲，但可以很容易地用於此目的。它具有內置的全功能WebKit引擎，並具有保存截圖等功能。可用作簡單的命令行JS解釋器。

Answer 2

服務器端？

嘗試節點履帶：https://github.com/joshfire/node-crawler

Answer 3

有一個新的框架，只是釋放了Node.js的叫spider。它使用jQuery來抓取/索引網站的HTML頁面。 API和配置非常好，特別是如果你已經知道jQuery。

從測試套件，這裏的爬行紐約時報網站的例子：

var spider = require('../main'); 

spider() 
    .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) { 
    $('a').spider(); 
    }) 
    .route('travel.nytimes.com', '*', function (window, $) { 
    $('a').spider(); 
    if (this.fromCache) return; 

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] } 
    article.body = '' 
    $('div.articleBody').each(function() { 
     article.body += this.outerHTML; 
    }) 
    $('div#abColumn img').each(function() { 
     var p = $(this).attr('src'); 
     if (p.indexOf('ADS') === -1) { 
     article.photos.push(p); 
     } 
    }) 
    console.log(article); 
    }) 
    .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) { 
    var article = {title: $('h1.entry-title').text()} 
    console.log($('div.entry-content').html()) 
    }) 
    .get('http://www.nytimes.com/pages/dining/index.html') 
    .log('info') 
    ;