Dask數據框如何處理大於內存的數據集？

Question

的documentation of the Dask package for dataframes說：

DASK dataframes看起來像是熊貓dataframes，但不是使用多線程內存較大 數據集執行操作。

但是在同一個頁面後：

一個DASK數據幀由沿指數分隔的多個內存大熊貓DataFrames 。

是否Dask從磁盤連續讀取不同的DataFrame分區並執行計算以適應內存？需要時是否將某些分區溢出到磁盤上？一般來說，Dask如何管理內存< - >數據的磁盤IO以允許大於內存的數據分析？

我試圖對10M MovieLens數據集和筆記本電腦（8GB RAM）進行一些基本計算（例如平均評級）開始交換。

Answer 1

Dask.dataframe懶惰地加載數據並嘗試在一個線性掃描中執行整個計算通過數據集。令人驚訝的是，這通常是可行的。

智能傾倒到磁盤也是它可以管理的選項，尤其是在需要洗牌時，但通常有解決方法。