從網站提取數據php

Question

我有一個項目正在努力。我使用php和mysql作爲後端。問題是我需要爲超過10k個產品創建一個在線目錄...每個產品都有pdf文件作爲附件。現在我無法一一瀏覽他們......所以在這裏，請您向專家提出建議。如何從供應商網頁獲得這些數據，並且有一些擴展名爲.jsp？有沒有一種方法可以在不逐一提取大量數據的情況下？謝謝你，期待你的建議。

Answer 1

是的，請聯繫您的供應商獲取產品信息。如果你刮和重新發布他們的網站，他們不會感到好笑。

有沒有辦法提取這個龐大的數據量，而不是一個一個地去做？

不，沒有其他方法可以比訪問每個產品頁面。你不能存儲你沒有收到的數據。

Answer 2

這是非常糟糕的做法 - 它很慢，您的供應商不會喜歡它我猜，當供應商的html代碼在他們的網站上發生變化時，您的代碼會變成垃圾。

所以最好的方法是使用一些API，如果他們提供任何。如果你真的需要解析其他網站的HTML代碼，你應該試試cURL。

Answer 3

詢問供應商他們是否有可以與之互動的Web服務或API。