我有一個使用Pandas處理大型數據集的python程序。目前大約需要15分鐘才能完成。我想記錄(stdout &發送指標給Datadog)有關任務進度的信息。有沒有辦法獲得任務(或函數)的%完成?將來,我可能正在處理更大的數據集。我正在做的Python任務是一個大型熊貓數據框的簡單分組。事情是這樣的:完成長時間運行的Python任務的完成百分比
dfDict = {}
for cat in categoryList:
df1 = df[df['category'] == cat]
if len(df1.index) > 0:
df1[dateCol] = pd.to_datetime(df[dateCol])
dfDict[cat] = df1
這裏,所屬分類擁有約20000項,和df是具有(比如說)500萬行的大型數據幀。
我不尋找任何幻想(如進度條..)。只是比例完整的價值。有任何想法嗎?
謝謝!
可能是[Python Progress Bar](http://stackoverflow.com/questions/3160699/python-progress-bar) – dodell