我試圖從動態生成的網頁下載一些數據,所以使用wget不起作用。該頁面爲http://gaceta.diputados.gob.mx/SIL/Legislaturas/Listados.html我想下載顯示的每個選項的列表,可以在「Legislatura」字段中選擇一次,然後下載我可以使用紅寶石處理數據。如何從網頁下載動態生成的內容?
只是想知道什麼是最好的下載方式,並且如果可以選擇每個選項並下載。
我試圖從動態生成的網頁下載一些數據,所以使用wget不起作用。該頁面爲http://gaceta.diputados.gob.mx/SIL/Legislaturas/Listados.html我想下載顯示的每個選項的列表,可以在「Legislatura」字段中選擇一次,然後下載我可以使用紅寶石處理數據。如何從網頁下載動態生成的內容?
只是想知道什麼是最好的下載方式,並且如果可以選擇每個選項並下載。
您可以使用Safari或Chrome中的Web Inspector或Firefox中的Firebug擴展來查看數據的加載方式。該頁面正在爲此網站的Perl腳本執行AJAX POST請求,並且數據以XML形式返回。
我會用cURL來獲取數據。
您可以使用http://watir.com/或webrat模擬您將如何查看數據然後使用Nokogiri解析HTML。
謝謝,這工作得很好。 – lander16 2011-05-02 20:17:57