熊貓和numpy線程安全

Question

我在網絡服務器（apache + modwsgi + django）上使用pandas，並且有一個難以複製的bug，現在我發現它是由不是線程安全的熊貓引起的。

經過大量的代碼縮減後，我終於找到了一個簡短的獨立程序，可以用來重現問題。你可以在下面看到它。

重點是：與this question的回答相反，這個例子表明即使非常簡單的操作不會修改數據幀，熊貓也會崩潰。我無法想象這個簡單的代碼片斷如何可能與線程不安全...

問題是關於在網絡服務器中使用熊貓和numpy。可能嗎？我應該如何使用熊貓來修復我的代碼？ （鎖的使用的一個例子將是有益的）

這裏是使段錯誤的代碼：

import threading 
import pandas as pd 
import numpy as np 

def let_crash(crash=True): 
    t = 0.02 * np.arange(100000) # ok con 10000                    
    data = pd.DataFrame({'t': t}) 
    if crash: 
     data['t'] * 1.5 # CRASH 
    else: 
     data['t'].values * 1.5 # THIS IS OK! 

if __name__ == '__main__': 
     threads = [] 
     for i in range(100): 
      if True: # asynchronous                       
       t = threading.Thread(target=let_crash, args =()) 
       t.daemon = True 
       t.start() 
       threads.append(t) 
      else: # synchronous                        
       let_crash() 
     for t in threads: 
      t.join() 

我的環境：蟒2.7.3，1.8.0 numpy的，熊貓0.13.1

Answer 1

請參閱此處的文檔中的警告：http://pandas.pydata.org/pandas-docs/dev/gotchas.html#thread-safety

熊貓不是線程安全的，因爲底層的複製機制不是。 Numpy我相信有一個原子複製操作，但熊貓有一個層以上。

複製是大熊貓操作的基礎（如大多數操作產生一個新的對象返回給用戶）

這是不平凡的解決這一問題，並會拿出一個相當沉重的PERF的成本因此將需要一點點正確處理這一問題的工作。

最簡單的就是不要在線程之間共享對象或將它們鎖定在使用狀態。

Answer 2

將mod_wsgi配置爲在單線程模式下運行。

WSGIDaemonProcess mysite processes=5 threads=1 
WSGIProcessGroup mysite 
WSGIApplicationGroup %{GLOBAL} 

在這種情況下，它使用的mod_wsgi daemon模式，這樣的進程/線程可以獨立於你使用任何的Apache MPM進行設置。