查找用戶發出的http請求

Question

我正在開發一個項目，其中涉及查找用戶發出的http請求。

我有所有的http請求和響應頭（但不是數據），我需要找出用戶請求什麼內容以及哪些內容被自動發送（例如，廣告頁面，背景上的流媒體以及各種不相關的內容）。 錄製淨流量時（即使是短時間內），也會生成大量內容，並且大部分內容不相關。 因爲即時通訊沒有專家在http中，我想要一些幫助指導我可以安全地使用哪些頭文件（假設大多數網頁發送它們），哪些頭文件可能會被忽略，因此依賴它是不安全的。

我目前的想法包括： 找到所有的HTML文件，並檢查主HTML文件是什麼（不引薦或搜索引擎引薦），然後遞歸地標記所有通過以後的有關這些HTML文件名爲的文件，放棄其餘的。

這個問題是，我被告知我不能相信引用標頭，並且我不知道如何識別用戶點擊了什麼html文件。 各種幫助將不勝感激，對不起，如果帖子格式不好，這是我的第一個問題。

編輯： 有人告訴我這個問題is'nt不夠清晰，因此，所有我問的是一些方法來確定哪些請求是由用戶觸發，whic請求都自動進行

Answer 1

要確定哪個請求是由用戶自己發送的，你應該查看通過連接發送的第一個請求，並查看它的響應主體。

然後連續發送給用戶的第一個主體中引用的所有外部文件最有可能在沒有用戶交互的情況下自動發送。

請求之間的時間傳遞也可能是一個值得關注的因素。

你已經提到的另一件事是你自己會看Referer標題。就RFC 2616 14.36而言，它可以被信任，因爲如果請求URI來自用戶輸入，則不能發送Referer頭。儘管可以自動發送沒有設置Referer頭部的內容，因爲它是可選的。