反向工程Web表單

Question

我有一個網站，我下載的原始數據的2-3 MB來自然後饋入ETL過程將其加載到我的數據集市。不幸的是，數據提供者是銀的美國部（USDA），他們不允許通過FTP下載。他們要求我用網絡的形式來選擇我想要的元素，通過點擊屏幕2-3，最後點擊下載該文件。我想自動執行此下載過程。我不是一個Web開發人員，但不知何故，似乎我應該能夠使用某種工具來確切地告訴我從最終請求到服務器的put/get/magic是什麼。如果我有一個工具，說：「這些參數傳遞到這個URL，並等待迴應」然後我可以在Perl黑客在一起的東西自動完成這一過程。

我意識到，如果我解構了他們所有5個頁面，並通過JavaScript包含並閱讀了3次我的治療，我可以從我所訪問的內容中獲取這些信息。但我想不需要我去手動解析他們所有的JS更快和更直接的路徑。

重申最後一個問題：是否有工具或方法可以清楚地顯示從Web表單發送的最終請求請求以及它的結構？

Answer 1

篡改者最好的朋友（這是Firefox的擴展，你也可以使用類似Wireshark）

HTTPFox

Tamper Data

最好的運氣

Answer 2

使用Fiddler2作爲代理來查看被來回傳遞。我已經在其他類似情況下成功做到了這一點

主頁是在這裏：http://www.fiddler2.com/fiddler2/

Answer 3

與其他回覆一樣，除了我的工具是Charles

Answer 4

使用Web測試工具包如Watir和Ruby怎麼樣？

易於填寫表格..只是使用輸出..

Answer 5

使用WatiN，並與華廷TestRecorder結合它（谷歌它）

它可以「模擬」用戶坐在前面瀏覽器在您可以從您自己的C＃代碼提供的值中衝出...