2012-01-07 91 views
2

我剛讀完Google文件系統(GFS)文件。該文件稱,GFS是關於隨機寫入操作,「附加操作」有哪些例子?

optimized for appending operations rather than random writes. 

鑑於這個特點在整篇論文中都得到了強調,我認爲這一點非常重要。

作爲一個根本沒有工作經驗的學生,Google提到的Appending Operations的一些真實的例子是什麼?聽起來很激烈。

回答

1

這是Google文件系統的中心侷限。它與GPFS等通用並行文件系統形成對比。然而,它使設計更容易,例如,複製。由於谷歌能夠圍繞自己的文件系統設計應用程序,並且由於隨機操作本質上很慢(在旋轉媒體上),這對他們來說很好。事情

噸的「追加」操作:

  • 新的日誌條目附加到一個日誌文件。 (GoogleFS也可以附加到一個已經關閉的文件中(有一定的侷限性,http://hadoop.apache.org/hdfs/非常類似)
  • 新的網絡抓取數據被追加到抓取文件中,而不是覆蓋現有的抓取版本文件。
  • 所有MapReduce(你也應該閱讀紙)輸出寫作從開始到最後一個文件,附加鍵/值對的文件(S)。
  • ...

所有寫入文件的文件不會使用seek或pwrite操作在文件中間更新數據,最重要的隨機寫入的使用是(經典的)數據庫後端。