從Redshift加載大於內存數據到bcolz中

我想在本地保存紅移查詢的輸出。我一直在使用blaze/odo嘗試，但與嘗試寫作，並試圖流中的數據會引發其他錯誤之前加載所有的數據到內存的默認設置，描述了另一個問題：Streaming results with Blaze and SqlAlchemy 從Redshift加載大於內存數據到bcolz中

因爲這個問題沒有任何答案，我尋找替代方法來做到這一點。

什麼是簡單，可靠和合理有效的方式加載大於內存查詢結果到Redshift bcolz？

來源

2016-02-11 Daniel Mahler

我看到這是一個老問題，但我會回答它，以幫助有同樣問題的人偶然發現它。我假設你使用Blaze來訪問Redshift。你必須對一些列的分區表，並做反覆，像這樣：

import blaze as bz 
table = bz.Data('postgresql://[email protected]::table_name') 
val_list = bz.odo(table['column_name'].distinct(), list) 
np_dtype = table.schema[0].to_numpy_dtype() 
for val in val_list: 
    table_partition = table[table['column_name'] == val] 
    partition_len = int(table_partition.count()) 
    bcolz.fromiter(table_partition, np_dtype, partition_len, 
        rootdir='rootdir_for_partition', mode='w', 
        cparams=compression_params)

，比使用bcolz.walk到結果迭代。

來源

2017-02-09 14:35:27 tihovin

從Redshift加載大於內存數據到bcolz中

回答

相關問題