如何提高閱讀大文件的scapy性能

我必須閱讀和分析太大的.pcap文件才能加載到內存中。我目前正在使用呼吸在離線模式下如何提高閱讀大文件的scapy性能

sniff(offline=file_in, prn=customAction, store=0)

與customAction功能，看起來大致是這樣的：

customAction(packet): 
    global COUNT 
    COUNT = COUNT + 1 
    # do some other stuff that takes practically 0 time

目前這種處理的數據包太慢。我已經在一個'驅動程序'程序中使用子進程來在不同內核上同時在多個文件上運行此腳本，但我確實需要提高單核性能。

我嘗試使用pypy，並感到失望的是，使用pypy的性能比使用python3（anaconda）少了10％。

平均時間使用pypy運行50K包是52.54秒

平均使用時間是python356.93秒

有什麼辦法加快速度跑50K包？

編輯：下面是cProfile的結果，你可以看到代碼在分析過程中速度有點慢，但所有的時間都花在做事上是scapy。

66054791 function calls (61851423 primitive calls) in 85.482 seconds 

Ordered by: cumulative time 

ncalls   tottime percall cumtime percall filename:lineno(function) 
957/1    0.017 0.000 85.483 85.483 {built-in method builtins.exec} 
    1    0.001 0.001 85.483 85.483 parser-3.py:1(<module>) 
    1    0.336 0.336 83.039 83.039 sendrecv.py:542(sniff) 
50001    0.075 0.000 81.693 0.002 utils.py:817(recv) 
50001    0.379 0.000 81.618 0.002 utils.py:794(read_packet) 
795097/50003  3.937 0.000 80.140 0.002 base_classes.py:195(__call__) 
397549/50003  6.467 0.000 79.543 0.002 packet.py:70(__init__) 
397545/50000  1.475 0.000 76.451 0.002 packet.py:616(dissect) 
397397/50000  0.817 0.000 74.002 0.001 packet.py:598(do_dissect_payload) 
397545/200039  6.908 0.000 49.511 0.000 packet.py:580(do_dissect) 
199083   0.806 0.000 32.319 0.000 dns.py:144(getfield) 
104043   1.023 0.000 22.996 0.000 dns.py:127(decodeRR) 
397548   0.343 0.000 15.059 0.000 packet.py:99(init_fields) 
397549   6.043 0.000 14.716 0.000 packet.py:102(do_init_fields) 
6673299/6311213 6.832 0.000 13.259 0.000 packet.py:215(__setattr__) 
3099782/3095902 5.785 0.000 8.197 0.000 copy.py:137(deepcopy) 
3746538/2335718 4.181 0.000 6.980 0.000 packet.py:199(setfieldval) 
149866   1.885 0.000 6.678 0.000 packet.py:629(guess_payload_class) 
738212   5.730 0.000 6.311 0.000 fields.py:675(getfield) 
1756450   3.393 0.000 5.521 0.000 fields.py:78(getfield) 
49775    0.200 0.000 5.401 0.000 dns.py:170(decodeRR) 
1632614   2.275 0.000 4.591 0.000 packet.py:191(__getattr__) 
985050/985037  1.720 0.000 4.229 0.000 {built-in method builtins.hasattr} 
326681/194989  0.965 0.000 2.876 0.000 packet.py:122(add_payload) 
...

編輯2：完整的代碼示例：

from scapy.all import * 
from scapy.utils import PcapReader 
import time, sys, logging 


COUNT = 0 
def customAction(packet): 
global COUNT 
COUNT = COUNT + 1 

file_temp = sys.argv[1] 
path  = '/'.join(file_temp.split('/')[:-2]) 
file_in = '/'.join(file_temp.split('/')[-2:]) 
name  = file_temp.split('/')[-1:][0].split('.')[0] 


os.chdir(path) 
q_output_file = 'processed/q_' + name + '.csv' 
a_output_file = 'processed/a_' + name + '.csv' 
log_file  = 'log/' + name + '.log' 

logging.basicConfig(filename=log_file, level=logging.DEBUG) 

t0=time.time() 
sniff(offline=file_in, prn=customAction, lfilter=lambda x:x.haslayer(DNS), store=0) 
t1=time.time() 

logging.info("File '{}' took {:.2f} seconds to parse {} packets.".format(name, t1-t0, COUNT))

來源

2016-07-26 deltap

根據https://gist.github.com/dpifke/2244911 defaultdict不應該是pypy比python3慢的原因。通過消除過程，似乎明顯的罪魁禍首是scapy + pypy。 – deltap

你能提供一個PyPy的具體例子嗎？如果它真的很慢（即使是大文件），可能是因爲PyPy本身內部缺少了一些優化，我們可以修復它。 –

在調整一些代碼之後，我現在可以使用pypy來提高執行速度10％。 – deltap

看來，Scapy的原因PyPy的JIT的預熱時間要高，但如果你運行足夠長的JIT仍正常工作。下面是我（在Linux 64）結果：

size of .pcap  CPython time  PyPy time 
2MB     4.9s    7.3s 
5MB     15.3s    9.1s 
15MB     1m15s    21s

來源

2016-07-29 09:02:05

這些文件中有多少個數據包？包含50,000個數據包的我的文件大約爲8MB，我的運行時間明顯長於您的文件。 – deltap

我在接近十幾個「數據包」的日誌中看到過。同樣，這意味着你沒有告訴我們需要知道的一切。請提供一個完整的例子;它可以是一些公共的.pcap文件在互聯網上可用。 –

我認爲簡單的答案是Scapy的是地獄只是緩慢。我試着用sniff（）或PcapReader掃描一個pcap文件，而不對數據包做任何事情。該過程讀取的SSD低於3MB/s，CPU使用率爲100％。還有其他用於Python的pcap閱讀器庫。我建議嘗試其中的一種。

來源

2016-07-29 13:43:58

如果您提到或建議了特定的庫，這將會很有幫助。 – charlesreid1

如何提高閱讀大文件的scapy性能

回答

相關問題