從各個網站搜索文件並列出它們

我想爲教育目的創建一個文件搜索引擎。但我不知道如何。你能指出我正確的方向嗎？我知道屏幕報廢和apis。我使用asp.net & c＃進行編程。從各個網站搜索文件並列出它們

作爲一個例子，如何this search engine搜索kohit.net和ectract的鏈接。 Kohit不提供API或在URL中使用參數。

2012-02-29 ziaasp

和mp3搜索引擎用於教育目的？ – 2012-02-29 14:51:04

是的。 mp3或任何文件搜索引擎 – ziaasp 2012-02-29 14:53:59

根據你的例子，我要說的是，

要麼你從每個搜索引擎得到的API要掃描並使用該API來使用搜索條件，然後將結果顯示在他們執行搜索
或者如果沒有辦法使用API，您可以使用插入的搜索條件（如http://search.ie/search.php?search=search+terms）訪問其搜索URL並解析結果，創建結果列表並將其顯示給用戶。這是這兩種方法的最不喜歡的，因爲它是最有可能失敗與目標搜索引擎的代碼的任何重組

2012-02-29 15:06:11

我想搜索單個網站。 – ziaasp 2012-02-29 15:10:16

是的，對於每個單獨的站點，您需要獲取API（可能不可用）或使用第二種方法（可能不合需要） – 2012-02-29 15:15:19

您可以使用一個工具，如http://www.searchblox.com/它提供了內置的使用刮機制和索引Apache Lucene/Solr。使用其RESTful API，與ASP.NET的集成也非常簡單。

如果您想從頭開始構建解決方案，您可能需要考慮使用spidering工具並寫入Lucene/Solr或Sphinx等搜索平臺，並從您的應用程序查詢它們。從ASP.NET使用SolrNet來查詢Solr很簡單。

2012-02-29 20:37:07 Mikos

回答