bash或python csv多字段處理

Question

我正在開發一個涉及基於csv文件的幾個變量/參數創建輸出的項目，並且正在尋找處理它的最佳方法。

我有一箇中等規模的CSV文件看起來像：

input.csv

B|Person1|3000 
A|Person2|3000 
C|Person3|5400 
A|Person4|1700 
C|Person5|9400 
D|Person6|2400 
B|Person7|2000 
A|Person8|3400 
A|Person9|1000 
A|Person10|2500 
A|Person11|3000 

想我的輸出看起來像：

output.csv

A|Person2|3000 
A|Person4|1700 
B|Person1|3000 
B|Person7|2000 
C|Person3|5400 
D|Person6|2400 

但輸出只能是6人（AABBCD）和列的總和3 < = 18000。我想的輸出被從 input.csv向下頂行創建的：

1. 如果行是空的，根據字母AD（Column1），[可選]填寫人員，忽略第3列的總和。
2. 如果行不是空且列3的總和低於1800 - 跳過（繼續）。
3. 如果行不是空且列3的總和超過1800，則替換最高值（繼續）。
4. [可選]完成後，開始檢查過程，看看是否可以替換具有更高值的任何人;根據18000

注本質上創造最高價值的人的名單：所有6個參數必須根據自己的第1列填補。

我剛開始考慮生成一個 output.csv文件，第一列包含AABBCD並使用awk匹配和條件語句添加行。然後我開始研究使用awk數組（將3列傳遞給3個數組並根據索引分配值）...

但是現在，似乎python可能是操縱csv文件時的一種方式，但我在涉及使用python編寫腳本時，我仍然是一名新手。你能否推薦適當的路徑來產生所需的輸出？

非常感謝提前，這一直讓我瘋狂。

編輯：簡單地說 - 只匹配前6位（AABBCD：帶有2As，2Bs，1C，1D），並且具有第3列的末尾總和< = $ 18000。

Answer 1

這裏有原始的代碼，從中可以很容易適應，以滿足您的需要

import csv 
with open('input.csv') as f_in, open('output.csv', 'w') as f_out : 
    csv_r = csv.reader(f_in, delimiter='|') 
    csv_w = csv.writer(f_out, delimiter='|') 
    col_sum = 0 
    for row in csv_r : 
     if len(row) == 0 : 
      continue 
     elif len(row) == 3 : 
      letter, person, value = row 
      col_sum += int(value) 
      if col_sum < 1800 : 
       csv_w.writerow(row) 
      else : 
       row[2] = 0 
       csv_w.writerow(row) 

Answer 2

如果我理解正確的一切......這裏去。

import csv 

def get_subset(rows): 
    sub_sets = [] 
    #get all combinations of rows 
    for L in range(0, len(rows)+1): 
     for subset in itertools.combinations(rows, L): 
      sub_sets.append(subset) 

    #get all combinations less than six 
    lessthansix = filter(lambda x: True if len(x) <= 6 else False, sub_sets) 
    #get all combinations less than or equal to max 
    lessthanmax = filter(lambda x: True if sum([int(col[2]) for col in x]) <= 18000 else False, lessthansix) 
    #sort the less than max groups by sum of col 3 
    closesttomax = sorted(lessthanmax, reverse=True, key=lambda x: sum([int(col[2]) for col in x])) 

    return closesttomax[0] 

with open("test.csv", 'r') as f: 
    reader = csv.reader(f, delimiter="|") 
    #filter out all rows that have col 3 less than 1800 
    rows = [row for row in reader if int(row[2]) > 1800] 
    subset = get_subset(rows) 
    sorted_rows = sorted(subset, key=lambda x: x[0]) 
    with open("out.csv", 'w') as o: 
     writer = csv.writer(o) 
     print sorted_rows 
     print sum([int(col[2]) for col in sorted_rows]) 
     for row in sorted_rows: 
      writer.writerow(row) 

Answer 3

這裏也是一個awk的版本，你可以嘗試：

awk -F\| ' 
    NR<=set{ 
    A[NR]=$0 
    total+=$NF 
    values[NR]=$3 
    next 
    } 

    total>treshold{ 
    max=0 
    for(i in values) if (values[i]>max){ 
     max=values[i]; j=i 
    } 
    if (max > $NF) { 
     A[j]=$0 
     total+=$NF-max 
     values[j]=$NF 
    } 
    } 

    END{ 
    print total; for(i in A) print A[i] 
    } 
' set=6 treshold=18000 file | sort