我試圖實現一個Web抓取爬蟲作爲我的ASP.NET MVC項目的一部分。它適用於使用Html Agility Pack從不同網址收集的大量數據。問題是,當我想要在一分鐘後從遠程服務器上實際運行我獲得「連接已重置」的功能時。當我在本地運行時,結果會更好。我有權訪問遠程IIS。任何解決此問題和/或任何替代方案的建議?ASP.NET web抓取超時問題
0
A
回答
1
0
連接和網絡問題可能導致此類問題。爲了避免阻塞其他網址的抓取,您可以將工作並行化爲單獨的線程。
相關問題
- 1. ASP.NET超時問題
- 2. ASP.Net超時問題
- 3. Web服務超時問題
- 4. ASP.NET SqlConnection超時問題
- 5. asp.net會話超時問題
- 6. 嘗試抓取ASP.NET DataGrid對象的行時出現問題
- 7. Web服務調用超時問題
- 8. ASP.NET Web服務超時
- 9. ASP.Net中的會話超時問題MVC
- 10. ASP.NET中的會話超時問題
- 11. ASP.NET中的線程超時問題
- 12. ASP.NET會話狀態超時問題
- 13. asp.net客戶端超時問題
- 14. asp.net站點會話超時問題
- 15. ASP.NET NHibernate C#超時問題SQL Server
- 16. 捲曲多抓取問題
- 17. 用PySNMP抓取MIB問題
- 18. Rselenium網頁抓取問題
- 19. PHP SimpleHTMLDom抓取問題
- 20. 3層java web應用程序讀取超時問題
- 21. 超時問題
- 22. Android Web請求標題抓取
- 23. Javascript抓取api,無限制超時
- 24. JSP Servlet Web抓取
- 25. 網絡抓取字體訪問問題
- 26. Net :: HTTP ::獲取超時問題
- 27. Java http讀取超時問題
- 28. WCF超時問題
- 29. MVC:超時問題
- 30. WebClient超時問題
您是否試圖在您的頁面的一個請求中檢索URL的_all_? – Oded
是的,我猜。有一個循環會生成URL並嘗試捕獲它們。但是有了這個時間限制,它只能得到很少的URL。 –