2012-08-29 100 views
0

我正在使用rsync同步許多小文件(每個4.5 MB)。我正在使用一個18000的bwlimit。我將執行批量rsync命令,使得Rsync性能 - 同步一個大文件vs同步多個小文件

rsync -v dest_host:file1 dest_host:file2 dest_host:file3 dest_host:file4 dest_host:file5 ... src_dir。

但我觀察到的是,對於上述帶寬,我無法每分鐘同步超過4個文件。這些是預期的嗎?我想知道如果我同步了一個18 MB的單個大文件,我可以更快地同步嗎?

而對於我上面的用例,有沒有用處?

+0

此鏈接可能對您有所幫助:http://serverfault.com/questions/375720/speed-up-rsync-by-running-multiple-instances-at-once 顯然我的回答太短了,轉換爲評論。無論如何,完整的細節都在那個URL上。 – Paul

+0

我的問題是我需要按照它們創建的順序逐個傳輸文件。我可以控制文件的大小,但我嚴格按照創建順序傳輸文件。我想了解的一件事是,我擁有20Mbps的帶寬,但我無法同步超過3個4.5 MB文件 – Mohan

回答

0

我設法回答我自己的問題。

同步多個小文件會產生開銷,如文件創建,打開,關閉源和目標。

當我們傳輸100個大小爲5MB的文件和一個大小爲500MMB的文件時,這會很重要。

所以,判定,是同步一個大文件是有益的。