gsutil cp命令的性能下降

我們觀察到，將單個文件複製到谷歌存儲的命令gsutil cp要好得多，因爲很少有這樣的過程將不同的單個文件複製到谷歌存儲上的不同位置。當時的正常速度是〜50mbps。但由於「gsutil cp」流程將單個文件複製到谷歌存儲的速度有所增加，這些日子的平均速度已降至〜10mbps。gsutil cp命令的性能下降

我想「gsutil -m cp」命令不會提高性能，因爲只有1個文件需要複製。

由於gsutil cp進程複製許多單個文件的數量增加，可以歸因於這種低速度。我們能做些什麼來提高這些流程的速度

來源

2017-03-02 abhishek jha

gsutil可以並行上傳單個大文件。它通過將文件的一部分作爲單獨的對象上傳到GCS中，然後讓GCS將它們組合在一起，然後刪除單個子對象來完成。

N.B.因爲這涉及上傳對象，然後幾乎立即刪除它們，所以不應在Nearline存儲桶中執行此操作，因爲刪除最近上載的對象需要額外付費。

您可以設置gsutil將使用此行爲的文件大小。試試這個：在功能

gsutil -o GSUtil:parallel_composite_upload_threshold=100M cp bigfile gs://your-bucket

更多的文檔可以在這裏找到：https://cloud.google.com/storage/docs/gsutil/commands/cp#parallel-composite-uploads

來源

2017-03-02 18:36:18

是否適用於壓縮文件此命令的工作呢？ –

我不知道我理解你的問題。你的意思是文件本身被壓縮，就像一個zip壓縮文件，或者文件被壓縮傳輸到GCS？ –

我的意思是這個文件已經被壓縮了，我們正在複製一個壓縮文件。那麼你建議的這種方法會不會起作用？ –

gsutil cp命令的性能下降

回答

相關問題