通過SSL使用.NET屏幕抓取站點有什麼解決方案?使用.NET通過SSL抓取屏幕
我的用例是我需要登錄到合作伙伴網站(https),瀏覽動態層次結構並下載壓縮的報告文件。
如果.NET中沒有好的可行選項,無論是框架還是OSS,我當然可以使用其他屏幕抓取工具。
通過SSL使用.NET屏幕抓取站點有什麼解決方案?使用.NET通過SSL抓取屏幕
我的用例是我需要登錄到合作伙伴網站(https),瀏覽動態層次結構並下載壓縮的報告文件。
如果.NET中沒有好的可行選項,無論是框架還是OSS,我當然可以使用其他屏幕抓取工具。
.NET中屏幕抓取的黃金標準是HTML Agility Pack。
據檢索頁面通過HTTPS,請嘗試以下文章:
(正如其他的答案中提到,你實際上可能是後自動化而不是屏幕抓取 ,在這種情況下,您可能更適合使用WatiN,這是一個專門用於自動化Web測試的框架,但足夠靈活用於您想要的內容)
你當然可以用HttpWebRequest做到這一點,但跟蹤用於登錄的cookie可能並不重要。我會推薦使用watir(ruby)或watin(c#)。兩者都會爲你處理所有這些。
從華廷的網站,這裏有一個例子:
public void SearchForWatiNOnGoogle()
{
using (IE ie = new IE("http://www.google.com"))
{
ie.TextField(Find.ByName("q")).TypeText("WatiN");
ie.Button(Find.ByName("btnG")).Click();
Assert.IsTrue(ie.ContainsText("WatiN"));
}
}
我聽說託管在其程序中的瀏覽器,並使用jQuery刮的人。由於jQuery非常適合搜索DOM,因此對我來說看起來很棒。
WatiN非常棒。如果我不得不手動解析所有的HTML元素,我會自己開槍。 – 2009-06-10 18:09:36