python-multiprocessing

    2熱度

    1回答

    我在multiprocessing.pool想我的手,它似乎做工精細,除了整個腳本一次又一次的循環..... 我的代碼 - from multiprocessing import Pool print "at top!" arr = [30, 30, 30, 30] def fib(num): if num == 0 or num == 1: return 1 el

    1熱度

    1回答

    我需要高速生存圖形數據。我需要不斷查詢串行端口以在數據可用時檢索數據。數據然後修改我正在繪製的實例變量。我在兩個子圖上繪製了4條不同的線,因此總共有8條線。我正在接收12個不同的變量,但只能繪製圖形8.我需要這個過程在運行一次函數後不會消失,這樣我可以繼續接收新數據。我想繪製在另一個過程中完成,以防止讀取串行端口。我已經找到了一些例子,並且在如何完成這項任務時得到了幫助,如果我擁有所有可用的數據,

    1熱度

    1回答

    在下面的代碼中,如何使Starter對象能夠讀取gen.vals? 這似乎是一個不同的對象被創建,其狀態得到更新,但絕不Starter知道這事。此外,該解決方案將如何申請self.vals是一本字典,或任何其他類型的對象? import multiprocessing import time class Generator(multiprocessing.Process): def

    0熱度

    1回答

    我需要向Facebook Graph API發送大約3000條API請求以收集洞察數據。 Facebook爲其API調用設置了速率限制。我目前正在使用python的多處理模塊,並將請求分組爲50個請求池。 我在發送請求成功處理一些請求後發生連接錯誤。 requests.exceptions.ConnectionError:( '連接異常中止',ConnectionResetError(10054,

    0熱度

    1回答

    我一直在閱讀關於Python的「多處理」,特別是「Pool」的東西。我熟悉線程,但不熟悉這裏使用的方法。如果我要將一個非常大的集合(比如說某種類型的字典)傳遞給進程池(「pool.map(myMethod,humungousDictionary)」)是由字典在內存中創建的副本,並傳遞給每個進程,或者那裏只存在一個字典嗎?我關心內存使用情況。先謝謝你。

    1熱度

    1回答

    我在進程之間共享字典,每個進程在dict中插入一個條目,其中字典中的鍵值可以是列表或gdb.Value實例。 每個進程正在做這樣的事情 mydict["key"] = [[2], gdb.Value(someaddress), 3, 4] 當上述行執行我得到下面的錯誤,看起來像它,因爲我將gdb.Value,這個工作如果在一個對象()實例的情況下, Traceback (most recent

    0熱度

    1回答

    我想在處理超過2GB的csv文件時使用多處理器。問題在於輸入只是在一個進程中被消耗,而其他進程似乎是空閒的。 以下重新創建我遇到的問題。是否有可能使用迭代器使用多進程?將內存全部輸入到內存中是不理想的。 import csv import multiprocessing import time def something(row): # print row[0] # p

    0熱度

    1回答

    我想做字符串匹配,並在Python中使用模糊wuzzy帶來匹配id。我的數據集非常龐大,數據集1 = 180萬條記錄,數據集2 = 160萬條記錄。 我試了一下,到目前爲止, 首先我想在Python中使用record linkage包,遺憾的是它跑出來的內存時,它建立multi index,所以我搬到AWS具有良好的機動力,併成功構建了它,然而,當我試圖對它進行比較時,它會一直運行,我同意它的比較

    1熱度

    2回答

    使用python多進程和curses,似乎終止一個進程干擾curses顯示。 例如,在下面的代碼中,爲什麼終止進程會阻止curses顯示文本? (按a後按b) 更確切地說,不僅顯示字符串「hello」,而且顯示整個curses窗口。 import curses from multiprocessing import Process from time import sleep def di

    0熱度

    1回答

    我正在使用SQLAlchemy和multiprocessing。我也使用scoped_session sinse它避免共享相同的會話,但我發現一個錯誤和他們的解決方案,但我不明白爲什麼它會發生。 下面你可以看到我的代碼: db.py engine = create_engine(connection_string) Session = sessionmaker(bind=engine) DB