list = allpages不能提供所有頁面

Question

我有問題，我想用我的wiki中所有頁面的名稱填充一個列表。我的腳本：

$TitleList = []; 
$nsList = []; 

$nsURL= 'wiki/api.php?action=query&meta=siteinfo& siprop=namespaces|namespacealiases&format=json'; 
$nsJson = file_get_contents($nsURL); 
$nsJsonD = json_decode($nsJson, true); 
foreach ($nsJsonD['query']['namespaces'] as $ns) 
{ 
    if ($ns['id'] >= 0) 
    array_push ($nsList, $ns['id']);  
} 

# populate the list of all pages in each namespace 
foreach ($nsList as $n) 
{ 
    $urlGET = 'wiki/api.php?action=query&list=allpages&apnamespace='.$n.'&format=json'; 
    $json = file_get_contents($urlGET); 
    $json_b = json_decode($json ,true); 

    foreach ($json_b['query']['allpages'] as $page) 
    {  
    echo("\n".$page['title']); 
    array_push($TitleList, $page["title"]); 
    } 
} 

但仍有35次％的頁面丟失，我可以在我的wiki訪問（「隨機現場」測試）。有誰知道，爲什麼會發生這種情況？

Answer 1

MediaWiki API不會一次返回所有結果，但可以批量處理。 默認批次只有10頁;您可以指定aplimit更改該值（用戶最多500個，機器人最多5,000個）。

要獲得下一批，您需要指定continue=參數;在每批中，您還將在返回的數據中獲得一個continue屬性，您可以使用該屬性請求下一批。要獲取所有頁面，只要繼續元素存在，就必須循環。

例如，在英文維基百科，這將是第一個API調用： https://en.wikipedia.org/w/api.php?action=query&list=allpages&apnamespace=0&format=json&aplimit=500&continue=

...和continue對象將是這樣的： "continue":{ "apcontinue":"\"Cigar\"_Daisey", "continue":"-||" }

（更新根據由OP評論與示例代碼）

您現在想使用扁平化continue陣列到URL參數，例如'

在這裏看到更完整的解釋： https://www.mediawiki.org/wiki/API:Query#Continuing_queries

你的代碼的工作版本應該（測試用維基百科有一個略有不同的代碼）：

# populate the list of all pages in each namespace 

    $baseUrl = 'wiki/api.php?action=query&list=allpages&apnamespace='.$n.'&format=json&limit=500&'; // Increase limit if you are using a bot, up to 5,000 
foreach ($nsList as $n) { 
    $next = ''; 
    while (isset($next)) { 
    $urlGET = $baseUrl . $next; 
    $json = file_get_contents($urlGET); 
    $json_b = json_decode($json, true); 
    foreach ($json_b['query']['allpages'] as $page) 
    { 
     echo("\n".$page['title']); 
     array_push($TitleList, $page["title"]); 
    } 

    if (isset($json_b['continue'])) { 
     $next = http_build_query($json_b['continue']); 
    } 
    } 
}