加速json解析

因此，我向一個返回約5000個結果的API發出請求。數據結構看起來像這樣：加速json解析

[{'test': '1'}, {'test': '2'}, {'test': '3'}]（只有5000結果）

它目前正在大約30秒鐘做這個簡單的結構：

for x in ujson.loads(r.content): 
    pass

正如你可以看到我使用ujson但與json.loads()相比，它甚至不會真的加快速度。

有關如何改善此性能的任何想法？

感謝

按照要求，如何IM定時代碼：

start = time.time() 
r = requests.get(url, headers={'Range': 'items=1-5000'}) 
print 'time to make request: {0}'.format(time.time() - start) 
for x in ujson.loads(r.content): 
    pass 
print 'time to parse request: {0}'.format(time.time() - start)

來源

2017-04-12 Strobe_

您確定解析需要30秒，而不是來自api的請求/響應嗎？ – user2263572

是的100％。我正在計時。整個過程需要60秒，請求30秒（我無法真正做到）和30秒的解析。 –

你能分享一下你的計時方法嗎？ – Zac

也許ü可以使用r.json（）代替r.content的（http://docs.python-requests.org/en/master/)(https://github.com/kennethreitz/requests/blob/master/requests/models.py#L861) 不知道這是否是更快

來源

2017-04-12 13:47:58 Bart

不幸的是，這有點慢。 –

嘗試：

ujson_loads = ujson.loads(r.content) 
for x in ujson_loads: 
    pass

沒有測試它，但它可能是解決您的問題的方法。

來源

2017-04-12 14:13:30 Claudio

，因爲我看到你使用Python 2，我會建議你cjson：你需要

pip install python-cjson

則：

import cjson 
start = time.time() 
r = requests.get(url, headers={'Range': 'items=1-5000'}) 
print 'time to make request: {0}'.format(time.time() - start) 
for x in cjson.decode(r.content): 
    pass 
print 'time to parse request: {0}'.format(time.time() - start)

即使沒有那麼多沉重的JSON它比快ujson（）：

cjson - 解析請求的時間：0.000113010406494

ujson - 解析請求的時間：0.000193119049072

來源

2017-04-12 14:16:59 Olia

加速json解析

回答

相關問題