高效的數據導入？

Question

我們與很多房地產合作，並在重新構建數據導入方式的同時，遇到了一個有趣的問題。首先，我們的系統工作方式（鬆散地說）是我們每天運行一次Coldfusion進程，檢索IDX供應商通過FTP提供的數據。他們將數據推送給我們。無論他們寄給我們的是我們得到的。

多年來，這已被證明是相當不穩定的。

我正在用RETS標準重新構建它，它使用SOAP方法檢索數據，這已經被證明比我們的要好得多。

當談到'更新'現有數據時，我最初的想法是隻查詢已更新的數據。有一個'修改'的字段，告訴你什麼時候最後更新了列表，並且我擁有的代碼將獲取在過去6小時內更新的任何列表（給自己一個窗口以防出現問題）。

但是，我看到很多房地產開發商建議創建貫穿所有列表的「批處理」流程，而不管持續運行的更新狀態如何。

這是更好的方法嗎？或者我剛剛抓住了我所知道的我需要的數據？對我來說做更多的處理並不是很有意義。思考？

Answer 1

如果您可以信任MODIFIED，那麼您的方法比分析整個文件更好，更快。如果你正在循環整個發現試圖找到修改或不修改將會更難。

如果您可以直接將文件發送到數據庫並使用其內置文件導入功能導入文件，性能會有輕微改善。例如MySQL有這個 - http://dev.mysql.com/doc/refman/5.0/en/mysqlimport.html我相信像SQL Server和Oracle這樣的其他數據庫也有這樣的機制。這將爲您節省編程語言工作的開銷，並僅使用數據庫資源。

Answer 2

如果你足夠幸運有最後更新的日期，那麼限制你正在更新或導入的行數肯定會更有效。只要確保日期實際上由數據源更新時記錄發生變化，因爲並非所有數據庫都設計良好，並且並不總是按照您期望的方式執行操作。

無論你做什麼，都不要逐行處理，這是做事最不可行的方式。我可以比一次處理一行100000條記錄的數據集快一百萬條記錄的批量插入。但是，如果插入您正在談論的基於集合的方式來執行此類型，並且更改的100條記錄的集合更新將比50,000條記錄的批量插入更快。