蜘蛛和索引器的好語言

Question

我愛Ruby和它的框架，但我不認爲Ruby On Rails是開發Feed-parser和Indexer的最佳選擇。

也許Python或Java是更好的選擇。你建議什麼語言？

Answer 1

我認爲Ruby是蠻好的這些類型的任務組成：

• http://rubyrss.com/
• http://www.ruby-doc.org/stdlib/libdoc/rss/rdoc/index.html
• http://railscasts.com/episodes/173-screen-scraping-with-scrapi

如果您習慣用Ruby我看不出有任何理由掏出Java，Python等。對於大多數任務。請記住，許多Ruby庫位於本機實現上。

Answer 2

Feed（RSS？）通常結構良好（至少與常規網頁相比）。查看Web Harvest，一個基於Java/bean的基於shell的DOM解析器（等等）。您可以使用它來自動從互聯網上獲取數據。有一個領域特定的語言（用XML定義），你必須學習。它的學習曲線可能有點陡峭，但我覺得這是值得的努力。

Answer 3

我對Java並不是很熟悉，但我可以說Python非常適合這項工作。

有一個名爲BeautifulStoneSoup的非常快速的XML解析器模塊，您可以使用它。它是BeautifulSoup圖書館的一部分。如果你只是在尋找一個簡單的索引器，Python有一個內置的sqlite引擎，它也是輕量級且非常快速的。