用多線程讀取單個文件：應該加快速度？

Question

我正在讀取一個包含500000行的文件。 我測試，看看如何多線程的提速過程....

private void multiThreadRead(int num){ 

    for(int i=1; i<= num; i++) { 
     new Thread(readIndivColumn(i),""+i).start(); 
    } 
} 

private Runnable readIndivColumn(final int colNum){ 
    return new Runnable(){ 
     @Override 
     public void run() { 
      // TODO Auto-generated method stub 
      try { 

       long startTime = System.currentTimeMillis(); 
       System.out.println("From Thread no:"+colNum+" Start time:"+startTime); 

       RandomAccessFile raf = new RandomAccessFile("./src/test/test1.csv","r"); 
       String line = ""; 
       //System.out.println("From Thread no:"+colNum); 

       while((line = raf.readLine()) != null){ 
        //System.out.println(line); 
        //System.out.println(StatUtils.getCellValue(line, colNum)); 
       } 


       long elapsedTime = System.currentTimeMillis() - startTime; 

       String formattedTime = String.format("%d min, %d sec", 
         TimeUnit.MILLISECONDS.toMinutes(elapsedTime), 
         TimeUnit.MILLISECONDS.toSeconds(elapsedTime) - 
         TimeUnit.MINUTES.toSeconds(TimeUnit.MILLISECONDS.toMinutes(elapsedTime)) 
        ); 

       System.out.println("From Thread no:"+colNum+" Finished Time:"+formattedTime); 
      } 
      catch (Exception e) { 
       // TODO Auto-generated catch block 
       System.out.println("From Thread no:"+colNum +"===>"+e.getMessage()); 

       e.printStackTrace(); 
      } 
     } 
    }; 
} 

private void sequentialRead(int num){ 
    try{ 
     long startTime = System.currentTimeMillis(); 
     System.out.println("Start time:"+startTime); 

     for(int i =0; i < num; i++){ 
      RandomAccessFile raf = new RandomAccessFile("./src/test/test1.csv","r"); 
      String line = ""; 

      while((line = raf.readLine()) != null){ 
       //System.out.println(line); 
      }    
     } 

     long elapsedTime = System.currentTimeMillis() - startTime; 

     String formattedTime = String.format("%d min, %d sec", 
       TimeUnit.MILLISECONDS.toMinutes(elapsedTime), 
       TimeUnit.MILLISECONDS.toSeconds(elapsedTime) - 
       TimeUnit.MINUTES.toSeconds(TimeUnit.MILLISECONDS.toMinutes(elapsedTime)) 
      ); 

     System.out.println("Finished Time:"+formattedTime); 
    } 
    catch (Exception e) { 
     e.printStackTrace(); 
     // TODO: handle exception 
    } 

} 
    public TesterClass() { 

    sequentialRead(1);  
    this.multiThreadRead(1); 

} 

爲NUM = 1我得到以下結果：

開始時間：1326224619049

成品時間：2分，14秒

順序讀出ENDS ...........

多線程讀開始：

自Thread NO：1開始時間：1326224753606

自Thread NO：1成品時間：2分鐘，13秒

多線程讀ENDS .....

爲NUM = 5我得到如下結果：

formatted Time:10 min, 20 sec 

Sequential read ENDS........... 

Multi-Thread read starts: 

From Thread no:1 Start time:1326223509574 
From Thread no:3 Start time:1326223509574 
From Thread no:4 Start time:1326223509574 
From Thread no:5 Start time:1326223509574 
From Thread no:2 Start time:1326223509574 
From Thread no:4 formatted Time:5 min, 54 sec 
From Thread no:2 formatted Time:6 min, 0 sec 
From Thread no:3 formatted Time:6 min, 7 sec 
From Thread no:5 formatted Time:6 min, 23 sec 
From Thread no:1 formatted Time:6 min, 23 sec 
Multi-Thread read ENDS..... 

我的問題是：不應該多線程讀取約需要。 2.13秒？ 你能解釋一下爲什麼多線程解決方案需要花費很長時間？

在此先感謝。

Answer 1

由於文件的閱讀主要是等待磁盤I/O，你的磁盤將不會轉得更快只是因爲它是由許多線程:)

Answer 2

從文件讀取本質上是一個連續過程中的問題，假設沒有緩存，這意味着您可以從文件中檢索數據的速度有限。即使沒有文件鎖定（即，只讀文件打開文件），第1個之後的所有線程都會阻塞磁盤讀取，以便讓所有其他線程等待以及在數據可用時處於活動狀態的任何線程是處理下一個街區。

Answer 3

並行讀取時看到緩慢的原因是因爲磁性硬盤磁頭需要爲每個線程尋找下一個讀取位置（約5ms）。因此，使用多線程進行讀取會在尋求之間有效地反彈磁盤，從而減慢速度。從單個磁盤讀取文件的唯一推薦方法是使用一個線程順序讀取。