cassandra python數據加載失去連接

我有一個多處理python腳本來從文本文件加載數據到cassandra。該過程並插入約20-30分鐘但後來我得到這個錯誤：cassandra python數據加載失去連接

Traceback (most recent call last): 
    File "multiCass.py", line 38, in <module> 
    mp_handler(file_data, N_Proc) 
    File "multiCass.py", line 24, in mp_handler 
    p.map(mp_worker, inputData, chunksize=1) 
    File "/usr/lib64/python2.6/multiprocessing/pool.py", line 148, in map 
    return self.map_async(func, iterable, chunksize).get() 
    File "/usr/lib64/python2.6/multiprocessing/pool.py", line 422, in get 
    raise self._value 
cassandra.cluster.NoHostAvailable: ('Unable to connect to any servers', {'10.205.111.43': OperationTimedOut('errors=errors=None, last_host=None, last_host=None',)})

爲什麼它20-30分鐘的工作，然後拋出回這個錯誤？

來源

2015-10-19 user2061886

該錯誤表明您正在重載您的C *羣集。如果你查看你的日誌，你可能會看到一個長時間的GC和錯誤發生的時間。如果在報告錯誤之後C *完全停止運行，那麼您需要檢查系統日誌，查看導致系統關閉的任何錯誤。

嘗試限制插入的數量，如果它們是GC相關暫停插入。

來源

2015-10-19 17:21:54 RussS

集羣沒有關閉......它似乎仍然在運行......我如何限制線路插入？ – user2061886

你可以暫停每x行限制你的並行度真的什麼都阻止你每秒發送多少個請求 – RussS

cassandra python數據加載失去連接

回答

相關問題