將一個巨大的json文件分解成單獨的文件

Question

我有一個巨大的json文件保存在本地，圍繞700MB。我無法處理它。

是否有可能將其分成10個單獨的文件夾，但每個文件都有一個完整的JSON注意有一個JSON有一個文件的前一半，另一個到下一個？

Answer 1

JSON文件的結構允許進行簡單的切片：它包含幾個「項目」塊（確切地說是7097）。這些「項目」是最高級別，並且包含不同數量的單個項目。

在這些接縫線處撕開大文件是相當容易的，有幾行Perl會這樣做（Perl因爲它可用於多種操作系統並且很容易處理大文件）：

#!/usr/bin/perl 
use strict; 
my $flag = 0; 
my $count = 0; 
my $start = "Kickstarter_Kickstarter_"; 
my $ending = "_.jison"; 
my $filename = ""; 
open (FILE, '<', 'Kickstarter_Kickstarter.json') 
         or die "file opening failed: $!"; 
while (<FILE>) { 
    if (/"projects": \[/){ 
     if($flag == 0){ 
      $flag = 1; 
      $filename = $start.$count.$ending; 
     open (CHUNK, '>>', $filename) 
        or die "file opening failed: $!"; 
     print STDOUT "Writing a chunk to ".$filename."\n"; 
     $count++; 
     print CHUNK "{ ".$_; 
     next; 
     } 
    if ($flag == 1){ 
      close (CHUNK) or die "file closing failed: $!"; 
      $flag = 0; 
     } 
    } 
    if(tell(CHUNK) != -1){ 
     print CHUNK $_ unless /^\,{/; 
    } 

close (FILE) or die "file closing failed: $!"; 

（只會工作，爲這個特定的文件！）

這將會把每這些「項目」塊的變成自己的，編號的文件。你可以用它來做你想做的事情（例如把它們放到十個文件夾中），但我會建議使用你最熟悉的JSON解析器併爲這些文件建立索引，即：選擇一個或多個條目（例如：id，名稱，目標，created_it等），併爲每個條目創建一個文件，以便將條目與單個文件連接起來。這樣你只需要搜索這些小文件而不是整個堆。

我還沒有檢查過，但有些條目可能有多個出現（例如：你可能會發現幾個人叫史密斯），所以簡單的元組很可能不會這樣做。