配置Perl腳本以自動爲一個非常大的網站生成XML站點地圖

Question

我是一家爲航班預訂公司工作的SEO。我們正在嘗試爲我們的網站安裝XML網站地圖。我曾要求我公司的開發團隊安裝一個Perl腳本，這將有助於爲我們的龐大站點（超過150k頁）生成XML站點地圖。

我們使用的是Google Perl Sitemap Generator，因爲我們只能使用Perl。輸出文件有很多垃圾，因爲它主要通過服務器文件夾中的靜態頁面和其他內容進行爬網（它基本上沒有跟隨主頁和網站的URL，而是爬取服務器上的每個文件）。我不確定術語是否正確，但我認爲你會明白我的觀點。

配置選項在上面的鏈接中提到，但我們無法弄清楚使用什麼參數來獲得沒有不必要的URL的理想XML站點地圖。

任何人都可以請幫助Perl腳本或如何配置它。

Answer 1

使用'wget'（鏡像選項）複製網站並從中構建網站地圖。

Answer 2

瞧，它具有代碼： http://www.isrcomputing.com/knowledge-base/linux-tips/240-how-to-create-google-sitemap- 使用-perl.html

Answer 3

也許我很天真，但不能你做一個BFS的「http ::獲得」從開始的所有環節根，解析出每個a href？

Perl支持的很好。