在numpy數組中隨機替換缺失值

Question

我有一個二進制數據的二維numpy數組，即0和1（未觀察到或觀察到）。對於某些情況，缺少該信息（NaN）。由於缺失值在數據集中是隨機的，我認爲最好的替換方法是使用隨機的0和1。

下面是一些示例代碼：

import numpy as np 
row, col = 10, 5 
matrix = np.random.randint(2, size=(row,col)) 
matrix = matrix.astype(float) 
matrix[1,2] = np.nan 
matrix[5,3] = np.nan 
matrix[8,0] = np.nan 
matrix[np.isnan(matrix)] = np.random.randint(2) 

這樣做的問題是，所有NaN是具有相同值的代替，0或1，而我想兩者。有沒有比例如for循環分別調用每個NaN更簡單的解決方案？我正在處理的數據集比這個例子大得多。

Answer 1

嘗試

nan_mask = np.isnan(matrix) 
matrix[nan_mask] = np.random.randint(0, 2, size=np.count_nonzero(nan_mask)) 

Answer 2

您可以使用矢量功能：

random_replace = np.vectorize(lambda x: np.random.randint(2) if np.isnan(x) else x) 
random_replace(matrix) 

Answer 3

由於缺失值是數據集中隨機的，我想，以取代他們會用最好的方式隨機0和1。

我在這裏真誠地反駁你。除非你有隨機模型，證明假定每個元素的概率等於0或1，那麼這會偏向你的觀察。

現在，我不知道您的數據來自何處，但「2D陣列」確實聽起來像是圖像信號，或類似的東西。你可以發現許多信號類型的大部分能量都是低頻率的;如果您遇到類似情況，您可以通過用二維數組的低通濾波版本元素替換缺失值來減小失真。無論哪種方式，因爲你需要從python調用numpy.isnan來檢查一個值是否爲NaN，我認爲解決這個問題的唯一方法是編寫一個高效的循環，除非你想毫無意義地計算一個巨大的隨機二維數組，填寫一些缺失的數字。

編輯：哦，我喜歡矢量化版本;它實際上就是我所說的高效循環，因爲它每次都沒有解釋python循環迭代就進行循環。

EDIT2：與計數非零元素的掩模的方法是更有效的，我想:)