我正在Perl/LWP中構建一個web爬行器。如何在遵循的WebCrawler這樣一個ASP.NET網的鏈接:Perl Web爬蟲如何跟隨ASP.NET回發?
<a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPostBack('ctl00$MainContent$listResult$Top$LnkNextPage','')">Next</a>
我正在Perl/LWP中構建一個web爬行器。如何在遵循的WebCrawler這樣一個ASP.NET網的鏈接:Perl Web爬蟲如何跟隨ASP.NET回發?
<a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPostBack('ctl00$MainContent$listResult$Top$LnkNextPage','')">Next</a>
貌似有一個WWW ::機械化子類,稱爲WWW::Scripter與javascript和ajax插件,應該是能夠做到這一點。還沒有嘗試過這種特殊的方法。
另一種選擇是WWW::Selenium,它可以很好地工作,但可能會對您有太多開銷/設置。
它幾乎是有道理的,有一個CPAN模塊具體處理這種疾病:) – ysth 2009-06-15 07:43:48
使用WWW-Mechanize-Firefox,它可以檢索/關注Firefox可以訪問的任何鏈接。
您需要安裝mozrepl插件到firefox,perl模塊將連接到該插件並使用firefox打開鏈接。
http://metacpan.org/pod/WWW::Mechanize::Firefox
例子:http://metacpan.org/pod/WWW::Mechanize::Firefox::Examples
+1,因爲不管我對它的保留意見是無法回答的,如果它實際上回答的,我想知道的太多 – 2009-06-14 22:31:50