2017-09-04 203 views
1

我想從netezza databse獲取5 GB的數據並將其寫入本地驅動器。我試過以下:從數據庫讀取數據並寫入本地驅動器,大數據

pd.concat([chunk for chunk in (pd.read_sql("""SELECT * FROM table""",conn,chunksize=10000))]).to_sql('table1',conn1) 

這需要大量的時間,幾乎一天。任何人都可以建議一個替代方案來快速完成這個過程,所以我可以處理25GB的更大數據?

回答

0

如果只從DB驅動器,那麼你可以用它來存儲數據的要求以下選項 -

nzsql -u user -pw pwd -db database -o abc.dat -c "sql" 

或者

nzsql -u用戶-pw PWD -db數據庫-c 「SQL」 > abc.dat