熊貓發現每個巨大的csv列中的獨特元素數量

Question

我有一個巨大的csv文件大約10 GB，如果我嘗試在內存中加載，我會得到一個錯誤。

我需要計算每個數據幀的唯一元素的數量。我怎樣才能做到這一點？

Answer 1

你可以依次加載每個山坳，然後調用.nunique：

In [227]: 

import io 
t="""a,b,c 
0,1,1 
0,2,1 
1,3,1 
2,4,1 
3,5,6""" 
# get the columns first 
cols = pd.read_csv(io.StringIO(t), nrows=1).columns 
​ 
d = {} 
for col in cols: 
    df = pd.read_csv(io.StringIO(t), usecols=col) 
    d[col] = df[col].nunique() 
d 
Out[227]: 
{'a': 4, 'b': 5, 'c': 2} 

這應該然後生成唯一值的數量的類型的字典爲每列

這是假設你能夠處理加載從你的10GB文件一次一列