Storm Crawler-抓取需要身份驗證的網站

Question

我想通過Storm Crawler在Intranet中抓取需要授權的網站（我已經擁有憑據）。是否可以通過簡單地修改爬蟲配置來實現該目標，或者是否應該更改源代碼中的類，如果是這樣，哪些類？

Answer 1

這是當前不可用。我爲這個#427開了一個問題，你需要修改HttpProtocol類。這將是一個很大的貢獻，並且非常受歡迎。