連接具有最大文件大小的文件的簡單方法

Question

我有一堆數百萬個小文本文件。我想將它們連接到每個大約10 MByte的大文件，以便更快地處理它們。在我開始使用Python腳本之前，我想知道是否有一種方法可以通過shell來實現 - 就像在cat中的最大文件大小參數或類似的東西？

Answer 1

也許試試cat對多個文件並將標準輸出推送到一個文件？就像這樣：

cat * > one_big_file

如果您不想處理所有的文件一個大文件，但一些較小的 - 也許他們的組通過一些正則表達式的文件名？ （確切的解決方案則取決於你的文件名看起來怎麼樣）

cat `grep [regex]` > one_big_file 

您也可以嘗試創建一個大文件，然後將其與分裂成幾個部分：

split -b10m one_big_file part