如何用R分析維基百科文章的數據庫？

Question

這是一個「大」的問題，我不知道如何開始，所以我希望你們中的一些人能給我一個方向。如果這不是一個「好」的問題，我會以道歉的方式結束這個話題。

我想瀏覽一下維基百科的數據庫（比方說英文版），然後做統計。例如，我感興趣的是維基百科在每個時間點有多少個活躍的編輯器（應該定義這些編輯器）（比如說過去兩年）。

我不知道如何建立這樣一個數據庫，如何訪問它，如何知道它有哪些類型的數據等等。所以我的問題是：

1. 我需要什麼工具（除了基本的R）？ MySQL在我的電腦上？ RODBC數據庫連接？
2. 你如何開始計劃這樣一個項目？

Answer 1

你會想從這裏開始： http://en.wikipedia.org/wiki/Wikipedia:Database_download

，將帶你到這裏： http://download.wikimedia.org/enwiki/20100312/

而且你可能想要的文件是：

# 2010-03-17 04:33:50 done Log events to all pages. 
    * This contains the log of actions performed on pages. 
    * pages-logging.xml.gz 1.0 GB 

http://download.wikimedia.org/enwiki/20100312/enwiki-20100312-pages-logging.xml.gz

你會然後將xml導入到MySQL中。生成每天，每週，每年等用戶的直方圖不需要R.您可以通過單個MySQL查詢來完成此操作。喜歡的東西：

select DAYOFYEAR(wiki_edit_timestamp), count(*) 
from page_logs 
group by DAYOFYEAR(wiki_edit_timestamp) 
order by DAYOFYEAR(wiki_edit_timestamp); 

等

（我不知道他們的實際模式是什麼，但它會是類似的東西。）

你會碰到的問題，沒有懷疑，但你也會學到很多東西。祝你好運！

Answer 2

您可以與wikipedia database dumps

• 工作，前面已經提到
• 工作與live mediawiki API，看到this minimal example at Rosettacode或my unfinished approach with a S3 class或this package by Peter Konings
• 工作，dbpedia，努力從維基百科中提取知識轉化爲知識庫。他們提供我不太瞭解的online sparql access，以及數據集n-triples供下載。請參閱this python script，這可能是R腳本的起點。這種方法可能對訪問存儲在維基百科中的內容（如信息框）有用，但我不確定是否有關於維基百科貢獻者的信息。

Answer 3

嘗試WikiXRay（Python/R）和zotero。