多進程，讀取同一文件的各種進程

我想模擬一些dna-sequencing讀取，並且爲了加速代碼，我需要並行運行它。基本上，我想要做的是以下幾點：我從人類基因組中取樣讀取，並且我認爲從多處理模塊的兩個過程中的一個嘗試從相同的文件（人類基因組）中獲取數據進程被破壞，無法獲得所需的DNA序列。我嘗試過不同的事情，但我對並行編程非常陌生，並且我無法解決我的問題多進程，讀取同一文件的各種進程

當我使用一個內核運行腳本時，它工作正常。

這是我調用該函數

if __name__ == '__main__': 
    jobs = [] 
    # init the processes 
    for i in range(number_of_cores): 
     length= 100 
     lock = mp.Manager().Lock() 
     p = mp.Process(target=simulations.sim_reads,args=(lock,FastaFile, "/home/inigo/msc_thesis/genome_data/hg38.fa",length,paired,results_dir,spawn_reads[i],temp_file_names[i])) 
     jobs.append(p) 
     p.start() 
    for p in jobs: 
     p.join()

的方式，這是我使用來獲取讀取功能，分別處理數據寫入到不同的文件。

def sim_single_end(lc,fastafile,chr,chr_pos_start,chr_pos_end,read_length, unique_id): 

    lc.acquire() 
    left_split_read = fastafile.fetch(chr, chr_pos_end - (read_length/2), chr_pos_end) 
    right_split_read = fastafile.fetch(chr, chr_pos_start, chr_pos_start + (read_length/2)) 
    reversed_left_split_read = left_split_read[::-1] 
    total_read = reversed_left_split_read + right_split_read 
    seq_id = "id:%s-%s|left_pos:%s-%s|right:%s-%s " % (unique_id,chr, int(chr_pos_end - (read_length/2)), int(chr_pos_end), int(chr_pos_start),int(chr_pos_start + (read_length/2))) 
    quality = "I" * read_length 
    fastq_string = "@%s\n%s\n+\n%s\n" % (seq_id, total_read, quality) 
    lc.release() 
    new_record = SeqIO.read(StringIO(fastq_string), "fastq") 
    return(new_record)

這裏是回溯：

Traceback (most recent call last): 
    File "/usr/lib/python3.5/multiprocessing/process.py", line 249, in _bootstrap 
    self.run() 
    File "/usr/lib/python3.5/multiprocessing/process.py", line 93, in run 
    self._target(*self._args, **self._kwargs) 
    File "/home/inigo/Dropbox/PycharmProjects/circ_dna/simulations.py", line 107, in sim_ecc_reads 
    new_read = sim_single_end(lc,fastafile, chr, chr_pos_start, chr_pos_end, read_length, read_id) 
    File "/home/inigo/Dropbox/PycharmProjects/circ_dna/simulations.py", line 132, in sim_single_end 
    new_record = SeqIO.read(StringIO(fastq_string), "fastq") 
    File "/usr/local/lib/python3.5/dist-packages/Bio/SeqIO/__init__.py", line 664, in read 
    first = next(iterator) 
    File "/usr/local/lib/python3.5/dist-packages/Bio/SeqIO/__init__.py", line 600, in parse 
for r in i: 
    File "/usr/local/lib/python3.5/dist-packages/Bio/SeqIO/QualityIO.py", line 1031, in FastqPhredIterator 
for title_line, seq_string, quality_string in FastqGeneralIterator(handle): 
    File "/usr/local/lib/python3.5/dist-packages/Bio/SeqIO/QualityIO.py", line 951, in FastqGeneralIterator 
% (title_line, seq_len, len(quality_string))) 

ValueError: Lengths of sequence and quality values differs for id:6-chr1_KI270707v1_random|left_pos:50511537-50511587|right:50511214-50511264 (0 and 100).

來源

2017-02-20 Praderas

您還沒有表現出回溯的錯誤。如果進程每次寫入不同的文件，則可以事先隨機化所有讀取的行（確保不重疊），將該塊列出並傳遞給每個進程。只要您阻止他們同時讀取文件，每個進程只會查看其預先分配的塊 – roganjosh

您已經包含了追蹤，除了錯誤本身。 – roganjosh

@roganjosh嗨！我添加了回溯。我試圖阻止他們用'Lock（）'同時讀取文件。然而它沒有奏效。我應該如何防止他們同時讀取文件？ – Praderas

我這個答案，我做了差不多一年前的OP。問題是我用來閱讀人類基因組文件（pysam）的軟件包失敗了。調用多處理時，這個問題是一個錯字。

從respose作者，這應該工作：

p = mp.Process(target=get_fasta, args=(genome_fa,))

注意「」以確保您傳遞一個元組

詳情請參閱https://github.com/pysam-developers/pysam/issues/409

來源

2018-01-31 17:56:36 Praderas

多進程，讀取同一文件的各種進程

回答

相關問題