Hadoop序列文件中的壓縮

Question

我有一些關於hadoop序列文件的基本問題。

1）默認壓縮編解碼器壓縮文件的程度如何？

2）我有100 MB的hadoop的序列文件，當我讀到這個文件，並拋售其內容以文本文件的文本文件大小我觀察到的是1GB左右（可以嗎？）

3）在閱讀序列文件是什麼意思「syncSeen（）」和 「seek（long position）」？如果我在閱讀時不使用這些電話，是否有任何問題？ 任何關於如何使用這些方法的例子？

Answer 1

SequenceFile.Reader#seek將讀取器定位在SequenceFile中的給定點。

按照Hadoop:The Definitive Guide

的同步點是，可以使用具有一個記錄邊界來重新同步，如果該閱讀器「丟失」 - 例如，尋求到任意的位置之後的流中的點在流中。同步點由SequenceFile.Writer記錄，該序列插入一個特殊條目，以便在序列文件正在寫入時爲每個記錄標記同步點。這些條目足夠小，只會產生適度的存儲開銷 - 小於1％。同步點始終與記錄邊界對齊。

SequenceFile.Reader#syncseen會告訴讀取SequenceFile時是否傳遞了同步標記。