c＃asp.net中的JavaScript執行後刮一個網頁

Question

我需要刮所有鏈接的網頁，所以我可以稍後訪問它們來查找和記錄cookie的設置。這是爲了新的英國法案，要求用戶由被設置的cookie組成，我決定嘗試使這一過程自動化以節省一些時間。

我的問題是，我的公司網站使用大量的javascript來呈現網頁和內容，這意味着當我檢索頁面時（使用html敏捷包時）他們主要包含大量的javascript和缺少很多顯示完全呈現的鏈接。我主持這個作爲一個域名的ASP應用程序，並通過網址刮擦和訪問網站頁面上的所有鏈接。

有沒有一種方法，我可以優先的JavaScript，所以頁面呈現，我可以得到所有的鏈接？

Answer 1

您可以製作帶有Web瀏覽器控件的Windows窗體。您可以設置URL並在頁面加載時設置回調事件。它會呈現頁面，包括javascript，然後你可以訪問DOM（我認爲通過WebBrowser.Document）。

Answer 2

我不明白你的問題。當它是你的公司網站時，你不需要刮頁面。你已經有了代碼。只要看看你的代碼庫，看看是否創建了cookie以及內部存儲了什麼。