從開放的HTTP流中讀取數據

Question

我正嘗試使用.NET WebRequest/WebResponse類來訪問此處的Twitter流式API "http://stream.twitter.com/spritzer.json"。

我需要能夠打開連接並從打開的連接中逐步讀取數據。

當前，當我調用WebRequest.GetResponse方法時，它將阻塞，直到整個響應被下載。我知道有一個BeginGetResponse方法，但是這隻會在後臺線程上做同樣的事情。我需要在下載仍在進行時訪問響應流。這些對我來說似乎是不可能的。

有Twitter的文檔在這個特定的評論：

「請注意，連接已經在服務器關閉後，一些HTTP客戶端庫只返回響應體，這些客戶端將無法訪問工作。 Streaming API，你必須使用一個HTTP客戶端來遞增地返回響應數據，大多數健壯的HTTP客戶端庫將提供這種功能，Apache HttpClient將處理這個用例，例如。

他們指向Appache HttpClient，但這並沒有多大幫助，因爲我需要使用.NET。

任何想法，這是否可能與WebRequest/WebResponse，或我必須去下級網絡類？也許還有其他的庫可以讓我做到這一點？

THX 艾倫

Answer 1

你試過WebRequest.BeginGetRequestStream()？

或者是這樣的：

HttpWebRequest request = (HttpWebRequest)WebRequest.Create (http://www.twitter.com); 
HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
StreamReader reader = new StreamReader(response.GetResponseStream()); 

string str = reader.ReadLine(); 
while(str != null) 
{ 
    Console.WriteLine(str); 
    str = reader.ReadLine(); 
} 

Answer 2

只需使用WebClient。它適用於這種簡單的情況，您不需要WebRequest的全部功能。

System.Net.WebClient wc = new System.Net.WebClient(); 
Console.WriteLine(wc.DownloadString("http://stream.twitter.com/spritzer.json")); 

Answer 3

我結束了使用TcpClient，它工作正常。儘管如此，仍然有興趣知道WebRequest/WebResponse是否可行。這裏是我的代碼，如果有人感興趣：

using (TcpClient client = new TcpClient()) 
{ 

string requestString = "GET /spritzer.json HTTP/1.1\r\n"; 
requestString += "Authorization: " + token + "\r\n"; 
requestString += "Host: stream.twitter.com\r\n"; 
requestString += "Connection: keep-alive\r\n"; 
requestString += "\r\n"; 

client.Connect("stream.twitter.com", 80); 

using (NetworkStream stream = client.GetStream()) 
{ 
    // Send the request. 
    StreamWriter writer = new StreamWriter(stream); 
    writer.Write(requestString); 
    writer.Flush(); 

    // Process the response. 
    StreamReader rdr = new StreamReader(stream); 

    while (!rdr.EndOfStream) 
    { 
     Console.WriteLine(rdr.ReadLine()); 
    } 
} 
} 

Answer 4

BeginGetResponse是您需要的方法。它可以讓你不斷的讀取響應流：

class Program 
{ 
    static void Main(string[] args) 
    { 
     WebRequest request = WebRequest.Create("http://stream.twitter.com/spritzer.json"); 
     request.Credentials = new NetworkCredential("username", "password"); 
     request.BeginGetResponse(ar => 
     { 
      var req = (WebRequest)ar.AsyncState; 
      // TODO: Add exception handling: EndGetResponse could throw 
      using (var response = req.EndGetResponse(ar)) 
      using (var reader = new StreamReader(response.GetResponseStream())) 
      { 
       // This loop goes as long as twitter is streaming 
       while (!reader.EndOfStream) 
       { 
        Console.WriteLine(reader.ReadLine()); 
       } 
      } 
     }, request); 

     // Press Enter to stop program 
     Console.ReadLine(); 
    } 
} 

或者，如果你感覺更舒服WebClient（我personnally喜歡過來的WebRequest）：

using (var client = new WebClient()) 
{ 
    client.Credentials = new NetworkCredential("username", "password"); 
    client.OpenReadCompleted += (sender, e) => 
    { 
     using (var reader = new StreamReader(e.Result)) 
     { 
      while (!reader.EndOfStream) 
      { 
       Console.WriteLine(reader.ReadLine()); 
      } 
     } 
    }; 
    client.OpenReadAsync(new Uri("http://stream.twitter.com/spritzer.json")); 
} 
Console.ReadLine();