使用JavaScript更新的網頁瀏覽使用Javascript/Ajax

我想從網站收集教育用途的數據。基本上基於統計的網頁開發。無論如何，我想收集數據的網站使用Javascript/Ajax來更新他們網站上的數字。我很想聽聽其他人收集此表單數據的想法。如果我抓住源，則最初不包含數據。我已經看過XQuery，如果我能夠獲得更新的DOM樹，但在那之前可能會很有用。我可以在Firefox中看到Firebug更新的樹，但是從那裏或其他來源獲取代碼的簡單方法是什麼？感謝任何方向。使用JavaScript更新的網頁瀏覽使用Javascript/Ajax

來源

2011-03-09 ars265

取決於網站的複雜程度，您可能可以繞過使用javascript的需要。看看它們在Firebug中顯示的ajax請求。如果它們是可預測的，例如總是/getData?item_id=123，那麼您可能只需使用您選擇的腳本語言來刮取數據。

來源

2011-03-09 07:01:29 itsadok

那你基本上說的是劫持他們的ajax請求，這可以用提供javascript運行支持的任何語言來完成？我研究了這一點，但它可能有點困難，因爲他們跟蹤所有連接，即使那些沒有用cookie登錄的連接。我會進一步研究，謝謝。 – ars265 2011-03-09 22:25:37

@ars你並不需要JavaScript。 AJAX請求只是一個HTTP請求。您可以確保您發送的HTTP標頭看起來與Firebug中的標頭相同，並且您應該得到相同的響應。你可以使用perl，python，ruby，甚至curl/wget。 – itsadok 2011-03-10 06:37:57

使用JavaScript更新的網頁瀏覽使用Javascript/Ajax

回答

相關問題