在Java中鏡像網站

Question

我需要從我的Java應用程序鏡像一些網站。我正在尋找一個開源的java庫來完成這項工作，但沒有找到合適的東西。

有沒有人知道一些Java友好的工具來檢索整個網站，或者我必須堅持執行wget從我的程序？

非常感謝。

Answer 1

我會推薦一個履帶式/蜘蛛。 Aspider和Sperowider使用Apache HttpClient lib（我最喜歡的httplib）並通過鏈接爬過網站。由於它們是OSS，您應該可以將它集成到您​​的軟件中。他們目前還沒有維護，但如果你想在java中編寫你自己的鏡像工具，Apache HttpClient lib將是一個很好的開始。

Answer 2

我在這類庫中遇到的最大問題是缺少對css解析的支持，因此在鏡像網站時也會下載導入的樣式表，背景圖像等。 （至少在最近的版本中），雖然它不是一個從Java運行這個程序的非常乾淨的解決方案，但我首先會嘗試一下，看看它是否適合您的需求。