2017-08-02 75 views
0

所以我讓我的代碼工作,一切都很好。但是,有90個需要被抓取的頁面。 我試圖把整個腳本放在一個while循環中,但是它處理了一個爲什麼對我沒有意義的代碼。它將首先處理循環,而不是首先處理casper。 我是相當新的casperjs和我已經做了很多的研究,所以,請不要破壞我: 例子:CasperJS頁面循環

var page = 0; 
var pageLimit = 90; 

//start loop 
while (page < pageLimit) { 

var casper = require('casper').create({ 
    verbose: true, 
    logLevel: 'error', 
    pageSettings: { 
     userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4' 
    } 

var url = 'https://saucelabs.com/blog/page/' + page; 
//sorry saucelabs.com i needed an example site for this post 

var names = []; 

function getNames() { 
    var names = document.querySelector('.entry-title'); 

     var str = document.querySelector('.entry-title').textContent; 
     var extracted = str.replace(/(\r\n|\n|\r)/gm,"");  
     extracted = extracted.replace(/\s+$/, ''); 
     return extracted; 
}; 

casper.start(url, function() { 
    //getting started 
}); 

casper.then(function() { 
    names = this.evaluate(getNames); 
}); 

casper.run(function(){ 
    this.echo(names);   
    this.echo("\n Successful!").exit(); 
    page++; 
}); 

} //end loop 

回答

0

這裏真正的問題是,卡斯帕首先執行所有的代碼,然後評估每個then一步爲了。

//First, create a casper isntance 
var casper = require('casper').create({ 
    verbose: true, 
    logLevel: 'error', 
    pageSettings: { 
     userAgent: 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4' 
    }); 



var names = []; 

function getNames() { 
    var names = document.querySelector('.entry-title'); 

     var str = document.querySelector('.entry-title').textContent; 
     var extracted = str.replace(/(\r\n|\n|\r)/gm,"");  
     extracted = extracted.replace(/\s+$/, ''); 
     return extracted; 
}; 

// Then, start casper. 
casper.start(url); 

while (page < pageLimit) { 
    var url = 'http://whatever.com/' + page; 
    // Open the new URL, and on load define 
    casper.thenOpen(url, function() { 
     var name = this.evaluate(getNames); 
     names.push(name); 
    }); 
} //end loop 

// Now that all of the steps are set up, run then all 
casper.run(function(){ 
    this.echo(names);   
    this.echo("\n Successful!").exit(); 
    page++; 
}); 
+0

我收到您提供的代碼的語法錯誤。 SyntaxError:意外的令牌'>' –

+0

對,我試圖使用ES6語法,因爲我忘記casper沒有更新。我修復了代碼。 –

+0

不同的錯誤現在= - ) TypeError:undefined不是一個構造函數(評估'新陣列(pageLimit).fill(0)') –