從Python中的Webhose API中檢索JSON數據時出錯

Question

我是一名Python初學者，正在嘗試使用webhose.io API從Web收集數據。問題是這個爬蟲每次從一個JSON中檢索100個對象，即檢索500個數據，所以有必要提出5個請求。當我使用API​​時，我無法一次收集所有數據。我能夠收集前100個結果，但當進行下一個請求時，會發生錯誤，第一個帖子會重複。按照代碼：

import webhoseio 
webhoseio.config(token="Xxxxx") 
query_params = { 
    "q": "trump:english", 
    "ts": "1498538579353", 
    "sort": "crawled" 
} 
output = webhoseio.query("filterWebContent", query_params) 


x = 0 

for var in output['posts']: 
    print output['posts'][x]['text'] 
    print output['posts'][x]['published'] 
    if output['posts'] is None: 
     output = webhoseio.get_next() 
     x = 0 

謝謝。

Answer 1

使用以下：

while output['posts']: 
    for var in output['posts']: 
     print output['posts'][0]['text'] 
     print output['posts'][0]['published'] 

    output = webhoseio.get_next()