python-multiprocessing

    0熱度

    1回答

    因此,這是我正面臨的問題。我試圖在多處理Process中訓練模型,但是如果模型已經存在於父範圍中,則該過程將在初始化Embedding圖層時凍結。 from multiprocessing import Process, Pipe import numpy as np from keras.models import Model from keras.layers import Input,

    1熱度

    1回答

    我有兩組,其中一組的行要作爲組處理,另一組有待查看。 test = pd.DataFrame({'Address1':['123 Cheese Way','234 Cookie Place','345 Pizza Drive','456 Pretzel Junction'],'city':['X','U','X','U']}) test2 = pd.DataFrame({'Address1':[

    1熱度

    1回答

    我有一個字符串列表,我想把這些列表元素分成合適的桶。 def bucketElements(i): global buckA, buckB, buckC if i.startswith('A'): buckA.add(i) elif i.startswith('B'): buckB.add(i) elif i.startswith('

    2熱度

    2回答

    最終目標是在後臺執行一個方法,但不是並行執行:當多個對象調用這個方法時,每個方法都應該等待輪到他們進行。要實現在後臺運行,我必須在子進程(而不是線程)中運行該方法,並且需要使用spawn(而不是fork)來啓動它。爲了防止並行執行,顯而易見的解決方案是在進程之間共享全局鎖。 當分叉進程(這是Unix上的默認進程)時,很容易實現,如以下兩個代碼中突出顯示的那樣。 我們可以分享它作爲一個類變量: im

    1熱度

    1回答

    我有以下代碼,我需要一次讀取多個傳感器。我已經設置了線程和多處理來爲我完成這個任務。當線程和多線程代碼位於主類之外時,它可以正常工作,但類不能使用它所檢索的數據。當我將該多線程代碼放入該類時,我遇到了一個EOFError: Ran out of input錯誤。 下面是代碼: import os import multiprocessing from multiprocessing impor

    1熱度

    1回答

    我有一組由應用程序創建的100個文件。這些文件不是以順序方式動態更新的。使用Python,我試圖讀取這些文件。但是,我不知道哪個文件在什麼時候得到更新。 我不希望每個時間循環遍歷每個文件,以檢查在實例中更新哪些文件。我可以創建多個進程/線程來觸發主進程更新哪個文件。是否有任何其他方式像文件更新可以通知主要的Python進程,以便只有這些文件被讀取? 謝謝。

    0熱度

    1回答

    我使用pool.map在多盡我的自定義函數, def my_func(data): #This is just a dummy function. data = data.assign(new_col = data.apply(lambda x: f(x), axis = 1)) return data def main(): mypool=pool.Pool(p

    1熱度

    1回答

    我正在運行多處理,以縮短我多時期的優化時間。 在我使用for循環之前,當我的數據不是很大時這是快速的。 for date in DatesOpt: x = X.loc[X['Date'] == np.int(date)].drop('Date',1) f = F.loc[F['Date'] == np.int(date)].drop('Date',1) d = D.l

    0熱度

    1回答

    問題:我有一個DAG(Directed-acyclic-graph)結構,用於啓動機器上某些海量數據處理的執行。有些進程只能在父數據處理完成時才能啓動,因爲存在多級處理。我想使用python多處理庫來處理它的一臺機器上的所有內容,作爲第一個目標,然後使用管理器在不同的機器上執行。我沒有以前的python多處理經驗。任何人都可以建議,如果這是一個好的圖書館開始?如果是的話,一些基本的實施想法會很好。

    0熱度

    1回答

    我開發在Django一個網站,我需要在後臺運行的線程一些 - [R腳本。但我希望這個線程在另一個進程中,而不是主進程。 只是因爲每當我用os.chdir(),一種罕見的錯誤出現,說明manage.py文件沒有被發現。所以我想爲一個子進程使用change directory功能,而不是主進程。