2017-03-31 127 views
3

我正在運行多個並行文件處理過程(最少200個進程),其中每個進程正在讀取不同大小(0-50mb)的日誌以捕獲日誌的實時數據。我正在16個內核上運行我的作業, 8 GB的內存Linux機器。有沒有辦法減少linux作業中的I/O等待時間?

但是在cpu和文件經過時間過程之間存在巨大的延遲。

你能解釋一下爲什麼會有這樣的滯後黑白CPU和經過一段時間的例子嗎?還有什麼方法可以減少這些過程的等待時間。

+0

一次運行較少的作業,以減少對I/O系統的爭用,或者爲更有效的緩存添加更多內存。 – twalberg

+0

共享存儲上的文件? –

+0

@twalberg我無法運行較少的工作,因爲我必須捕獲實時數據 –

回答

0

你在運行什麼發行版?我問,因爲解決這個問題的一種方法是使用不同的I/O調度程序,但是您的發行版可能不支持更改您的調度程序。某些I/O調度程序最適合不同的文件系統和體系結構,因此我建議您尋找here以瞭解不同的調度程序。至於你遇到的差異,我真的不知道發生了什麼。

此外,我假設日誌文件位於SSD?

+0

日誌文件在HDD上創建,我無法使用I/O調度程序 –

相關問題