sklearn具有n_jobs = -1的邏輯迴歸並不實際並行

Question

我試圖用sklearn邏輯迴歸來訓練一個巨大的數據集。 我已經設置了參數n_jobs = -1（也嘗試n_jobs = 5，10，...），但是當我打開htop時，我可以看到它仍然只使用一個核心。

這是否意味着logistic迴歸只會忽略n_jobs參數？

我該如何解決這個問題？我真的需要這個過程並行化...

P.S.我正在使用sklearn 0.17.1

Answer 1

並行進程後端也取決於求解器方法。如果你想利用多核心，則需要multiprocessing後端。

但像'sag'這樣的求解器只能使用threading後端。

也大多數情況下，由於大量的預處理，它可能會被阻塞。