2008-09-17 114 views
0

考慮Windows託管的構建過程,該過程將定期將文件放入磁盤,以便將其複製到同一數據中心內的多個其他Windows服務器。其他機器將運行IIS,並將這些文件提供給羣衆。文件複製解決方案

總的語料庫大小將是數百萬個文件,100個GB的數據。它必須處理目標服務器上的可能爭用,例如潛在鏈接。定期

  • queue'd系統和守護進程要麼醒來,複製或作爲服務運行:通過WAN,冷啓動清潔服務器

    解決方案我想過那麼遠。

  • SAN - 昂貴,複雜,更昂貴
  • ROBOCOPY,定時工作 - 簡單但有效。許多內部/不確定狀態,例如其在複製,錯誤
  • 現成的repl。軟件 - 比SAN更便宜,但價格昂貴
  • UNC共享文件夾並且沒有任何回報。更高的延遲,更低的成本 - 仍然需要集羣解決方案。
  • DFS複製。

其他人還有什麼用?

回答

1

我已經使用rsync腳本成功完成了這種工作,在我們的案例中有1000年的機器。我相信有一個Windows的rsync服務器,但我沒有在Linux以外的任何地方使用它。

+0

好點 - 我現在被限制到Windows – stephbu 2008-09-17 18:39:14

0

我們在組織中使用ROBOCOPY來傳遞文件。它運行非常無縫,我覺得值得推薦。

此外,你沒有做任何事情太瘋狂。如果你也精通perl,我相信你可以寫一個快速的腳本來滿足你的需求。

+0

是的,我會把它們全部組合成一個類別 - 控制檯驅動的爬蟲應用程序 – stephbu 2008-09-17 18:41:03

1

雖然我們沒有這些數以千萬計的數據來管理,但我們在我們的主要公司和其在國外的機構之間隔夜發送和收集大量文件。我們一直在使用allwaysync。它允許文件夾/ FTP同步。它有一個很好的界面,允許文件夾和文件的分析和比較,它當然可以預定。

1

UNC共享文件夾和沒有複製有許多缺點,特別是如果IIS將使用UNC路徑作爲站點的主目錄。在壓力下,您將遇到http://support.microsoft.com/default.aspx/kb/810886,因爲針對共享該文件夾的服務器的同時會話數量較多。此外,由於IIS將要掃描/索引/緩存(取決於IIS版本和ASP設置)UNC文件夾,因此您將遇到IIS站點啓動速度緩慢。

我看過DFS的測試很有希望,展覽沒有任何上述限制。