UNIX - 重複計數，計數和文件

Question

所有列值的總和給出一個文件如：

sid|storeNo|latitude|longitude 
2|1|-28.03720000 
9|2 
10 
jgn352|1|-28.03720000 
9|2|fdjkjhn422-405 
|gfdjk39 

預期輸出：

sid|storeNo|latitude|longitude 
543240|6|-56.0744|0| 
6|5|3|0| 
5|3|2|0| 

我想返回值的計數在每列下，每列下不同值的計數，然後是每列下所有值的總和。但是，我的邏輯/語法肯定是錯的，任何幫助糾正它都會很棒！

代碼到目前爲止（在momemnt它返回無輸出）：使用gawk

awk 'BEGIN{FS="|"} 
    NR==1{ 
      for(n = 1; n <= NF; n++) { 
       colname[n]=$n 
      } 
     } 
    NR>1 { #skips header 
    for(j=1;j<=NF;j++) 
    { 
     sum[j]+=$j 
     rawcount[j]++ 
     #distinctcount[j, arr[j]]=1 
    } 
    } 
    END{ 
    for(k=1;k<=NF;k++) 
    { 
    #for(i in distinctcount) 
    # distinctcount[k, i]++ 
    print colname[j]"|" 
print sum[j]"|" 
print rawcount[j]"|" 
print distinctcount[j]"|" 
    } 
    }' delimd2iffpipe.dat 

Answer 1

一種可能的解決方案。 該腳本使用多維數組，我認爲它只支持GNU版本。

BEGIN { 
     FS="|" 
} 

## Header. 
NR==1{ 
     ## Get this number to know later how many columns to print. 
     cols = NF; 

     ## Print header. 
     print 

     ## Read next record. 
     next 
} 

## Data. 
NR>1 { 
    ## For each column, get sum, count and distinct count, save values in arrays. 
    for(j=1;j<=NF;j++) 
    { 
     sum[j] += $j 
     rawcount[j]++ 
     distcount[j][$j]++ 
    } 
} 

END{ 
     print_line(sum) 
     print_line(rawcount) 

     ## To print distinct count, for each column we count how many values exist in 
     ## second dimension. 
     for (i = 1; i <= cols; i++) { 
       printf "%g|", length(distcount[i]) ? length(distcount[i]) : 0 
     } 
     print 
} 

func print_line(arr) 
{ 
     for (k = 1; k <= cols; k++) { 
       printf "%g|", arr[k] ? arr[k] : 0 
     } 
     print 

} 

運行腳本：

awk -f script.awk delimd2iffpipe.dat 

結果：

sid|storeNo|latitude|longitude 
543240|6|-56.0744|0| 
6|5|3|0| 
5|3|2|0| 

---

內容script.awk（含評論）的編輯：避免多維數組的方法。我用一個下標數組替代它。它的處理更復雜，但我希望它可以與所有版本的awk：

這裏的代碼。我的機器中的結果與以前的腳本相同。

BEGIN { 
     FS="|" 
} 

## Header. 
NR==1{ 
     ## Get this number to know later how many columns to print. 
     cols = NF; 

     ## Print header. 
     print 

     ## Read next record. 
     next 
} 

## Data. 
NR>1 { 
     ## For each column, get sum, count and distinct count, save values in arrays. 
    for(j=1;j<=NF;j++) 
    { 
     sum[j] += $j 
     rawcount[j]++ 
     distcount[j, $j]++ 
    } 
} 

END{ 
     print_line(sum) 
     print_line(rawcount) 

     for (combined_index in distcount) { 
       split(combined_index, idx, SUBSEP) 
       dcount[ idx[1] ]++; 
     } 
     print_line(dcount) 
} 

func print_line(arr) 
{ 
     for (k = 1; k <= cols; k++) { 
       printf "%g|", arr[k] ? arr[k] : 0 
     } 
     print 

}