我有一個大型的全局重新數組,總共有30GB的數據通過qsub在256GB內存的集羣上運行。我目前是該羣集中的唯一用戶,因此與RAM的分配沒有衝突。當循環播放此重新數組時,系統似乎將對象分流到光盤,而不是將其保存在RAM中,從而使循環減慢超過5倍。我一直在看以下方式在對象上使用mmap,並收到以下錯誤。 m = mmap.mmap(myrecarray, 0)
MMAP TypeError: on
我想子類numpy recarrays並能夠創建該類的視圖。例如: _Theta = np.dtype([('v', '<f8'), ('a', '<f8'), ('w', '<f8')])
class Theta(np.recarray):
''' Defines a class for the parameters of a DDM model. '''
def __
我只想從ntype數組中獲取dtype的列表或字典。認爲這將是一個容易,但它不是可以通過。我看了其他地方卻找不到答案。 JN是recarray [OrderedDict(row) for i, row in jn.iterrows()]
jn.index.dtype
dtype('object')
jn.to_records()
#this put out record dtype
jn