bzip2

    1熱度

    1回答

    爲什麼hdfs支持bzip2壓縮,但hbase不支持bzip2壓縮?

    7熱度

    1回答

    我有一個使用bzip2壓縮的wikipedia轉儲(從http://dumps.wikimedia.org/enwiki/下載),但我不想解壓縮它:我想在進行解壓縮的同時處理它。 我知道可以用普通的Java來完成它(例如見Java - Read BZ2 file and uncompress/parse on the fly),但是我想知道它在Apache Flink中是如何做到的?我可能需要的是

    1熱度

    1回答

    的boost :: iostream的壓縮文件bzip2_decompressor不解壓文件的bzip2_compressor

    0熱度

    1回答

    我有10行的文件,我正在壓縮到Bz2格式,但是當我解壓縮它時,我看到生成的文件只有9行。有1.5行數據丟失。這是我的壓縮到Bz2的代碼。我使用DotNet zip庫 https://dotnetzip.codeplex.com/ 以下是壓縮代碼,我將文件轉換爲UTF-8和Bz2文件。 static string Compress(string sourceFile, bool forceOverw

    0熱度

    1回答

    我有一個數據庫傳輸腳本,它使用的bzip2在服務器上儘量減少大型數據庫的鎖定。 第一行是 ssh [email protected] "mysqldump db | bzip2 >/root/db.sql.bz2" 這適用於多臺服務器,而是一個新的Ubuntu 14.04服務器上的服務器上創建的文件中有一個問號附加: ls -la gt* -rw-r--r-- 1 root root 236

    0熱度

    1回答

    我有一個.bz2壓縮文件,我想將內部文件複製到另一個位置,而不需要解壓縮。 我使用.net 4.5與C#。 我想這樣,但是這是一個zip文件(.zip文件): using (var zip = ZipFile.Read(_targetPathComplete + "\\" + file[0].ToUpper() + "_" + file[1].ToUpper() + ".bz2")) {

    2熱度

    1回答

    我有一個大小約120GB的gz文件。我想運行mapreduce,但由於gz文件不可拆分,只有一個映射器能夠一次處理該文件。該文件存在於hdfs和本地文件中。 可能的選擇我在想: 1)解壓縮gz文件並將其存儲在hdfs中:首先,需要太多時間來解壓縮文件並將解壓縮數據放入hdfs中。此外,我不能直接在hdfs中解壓文件,因爲hdfs沒有zcat或gunzip命令。所以我必須做zcat a.gz | h

    2熱度

    1回答

    Traceback (most recent call last): File "TTRC_main.py", line 309, in <module> updater.start() File "TTRC_main.py", line 36, in start newFileData = bz2.BZ2File("C:/Program Files (x8

    0熱度

    2回答

    我想在使用commons compress的內存中使用bzip2數據。我想這一點: private static final int bufferSize = 8192; public void compress( ByteArrayInputStream byteArrayInputStream, CompressorOutputStream compressorOutpu

    0熱度

    1回答

    從存儲器流BZ2我有CSV數據bz2壓縮的數據的塊在存儲器 compressed = load_from_network_service(...) 我想迭代解壓縮線的流。 for line in bz2_decompress_stream(compressed): ... 這樣的功能是否存在? 原則上,我可以寫入到磁盤,然後使用bz2.BZ2File,這似乎只需要消耗一個文件名