如何抓取網站？

Question

我知道如何解析RSS提要，但是如何閱讀文章？我必須刮網站嗎？或者有沒有其他的解析在Java文章？

在此先感謝

編輯： 我決定使用jSoup。

Answer 1

那麼RSS提要（大概）包含的鏈接是文章鏈接，所以它（大概）歸結爲你的意思是「讀」。

• 如果您只是需要獲取它們，請使用URL.getInputStream或其他一些HTTP客戶端庫。

• 如果您想顯示最終用戶閱讀的新聞文章頁面，那麼您只需要在本機瀏覽器中打開該URL即可。

• 如果你想提取文章文本，那麼你需要使用合適的HTML解析器解析HTML，或者使用忽略HTML結構的kludgey文本模式識別（blech！）。