使用C＃測試網站

Question

民間，

我需要完成一些複雜的網頁抓取。

簡單的目標是：登錄到頁面，在某些文本字段中輸入一些值，單擊提交，然後從檢索到的頁面中提取一些值。

什麼是最好的方法？

1. 部分單元測試第三方庫？
2. 在C＃中手動抓取？
3. 也許有專門的準備好lib吧？
4. 還有其他的方法嗎？

這需要在一個web應用程序內完成。

非常感謝您的幫助。

Answer 1

不知道它將如何在Web應用程序內工作，但你有沒有考慮給HtmlUnit一個嘗試？我認爲它應該很好，因爲它基本上是一個無頭網頁瀏覽器。

史蒂文桑德森有一個blog post about using HtmlUnit in .NET code。

Answer 2

WatiN。

http://watin.sourceforge.net/

var browser = new IE(); 

browser.GoTo("http://www.mywebsite.com"); 

browser.TextField("username").TypeText("username goes here"); // alternatively, use .Value = if you don't need to simulate keystrokes. 

browser.Button(Find.ById("submitButton")).Click(); 

，並在你的斷言返回頁面：

Assert.AreEqual("You are logged in as Username.", ie.TextField("username").Value); // you can essentially check any HTML tag, I just used TextField for brevity. 

編輯 -

讀取編輯從一個Web瀏覽器中執行此操作後，您可能會考慮使用WebRequest和HTML Agility Pack來驗證您返回的內容：

的WebRequest：

http://msdn.microsoft.com/en-us/library/debx8sh9.aspx

HTML敏捷性包：

How to use HTML Agility pack

Answer 3

如果你知道什麼表單提交值都應該是進入和出來，你可以創建一個應用程序C＃使用HttpWebRequest併發布到頁面並解析結果。這段代碼是高度專業化的，供我自己使用，但你應該能夠調整它，並使它做你想做的事情。它實際上是一個更大的類的一部分，可以讓你添加post/get項目，然後爲你提交一個http請求。

// this is for the query string 
char[] temp = new char[1]; 
temp[0] = '?'; 

// create the query string for post/get types 
Uri uri = _type == PostType.Post ? new Uri(url) : new Uri((url + "?" + postData).TrimEnd(temp)); 

// create the request 
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); 

request.Accept = _accept; 
request.ContentType = _contentType; 
request.Method = _type == PostType.Post ? "POST" : "GET"; 
request.CookieContainer = _cookieContainer; 
request.Referer = _referer; 
request.AllowAutoRedirect = _allowRedirect; 
request.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3"; 

// set the timeout to a big value like 2 minutes 
request.Timeout = 120000; 

// set our credentials 
request.Credentials = CredentialCache.DefaultCredentials; 

// if we have a proxy set its creds as well 
if(request.Proxy != null) 
{ 
    request.Proxy.Credentials = CredentialCache.DefaultCredentials; 
} 


// append post items if we need to 
if(!String.IsNullOrEmpty(_body)) 
{ 
    using(StreamWriter sw = new StreamWriter(request.GetRequestStream(), Encoding.ASCII)) 
    { 
    sw.Write(_body); 
    } 
} 

if(_type == PostType.Post && 
    String.IsNullOrEmpty(_body)) 
{ 
    using(Stream writeStream = request.GetRequestStream()) 
    { 
     UTF8Encoding encoding = new UTF8Encoding(); 
     byte[] bytes = encoding.GetBytes(postData); 

     writeStream.Write(bytes, 0, bytes.Length); 
    } 
} 

if(_headers.Count > 0) 
{ 
    request.Headers.Add(_headers); 
}//end if 

// we want to keep this open for a bit 
using(HttpWebResponse response = (HttpWebResponse)request.GetResponse()) 
{ 
    // TODO: do something with the response 
}//end using 

Answer 4

我要說硒，但如果你打算這樣做，內部我可能會做一些這樣的NUnit寫的測試，然後從web應用程序運行它們。

http://www.nunit.org/

在web-app但內心爲什麼？這就像在車內對汽車進行碰撞測試。

Answer 5

如果您正在尋找更輕量級的產品，請嘗試使用SimpleBrowser for .Net--在Github上開源。

https://github.com/axefrog/SimpleBrowser

Answer 6

驚訝HTMLAgilityPack沒有提到。這是迄今爲止最簡單的使用。

Crawling Websites with C# and Xpath