將網絡數據文件加載到熊貓數據框

Question

我想從網絡加載.csv文件，並將其轉換爲pandas.DataFrame。

這裏就是我想找到一個.csv文件我的目標頁：

https://vincentarelbundock.github.io/Rdatasets/datasets.html

如何從網頁加載.csv文件對應的項目，並轉換成panda.DataFrame？

另外，如果我也可以從網頁上獲得.csv文件的地址，這將是一件好事。

這將讓我創建一個函數來從目標頁面轉換的項目名稱，將返回.csv文件地址，如：

def data(item): 
    file = 'https://vincentarelbundock.github.io/Rdatasets/csv/datasets/'+str(item)+'.csv' 

然而，CSV文件中的網頁地址是不是全部相同的模式。

例如，

https://vincentarelbundock.github.io/Rdatasets/csv/Stat2Data/Cuckoo.csv 
https://vincentarelbundock.github.io/Rdatasets/csv/datasets/cars.csv 

相當多的文件都在不同的目錄，所以我需要尋找「項目」，並得到相應的CSV文件的地址。

Answer 1

熊貓可以從http鏈接直接讀取csv：

實施例;

df = pd.read_csv(
    'https://vincentarelbundock.github.io/Rdatasets/' 
    'csv/datasets/OrchardSprays.csv') 
print(df) 

結果：

Unnamed: 0 decrease rowpos colpos treatment 
0   1  57  1  1   D 
1   2  95  2  1   E 
..   ...  ...  ...  ...  ... 
62   63   3  7  8   A 
63   64  19  8  8   C 

[64 rows x 5 columns] 

通過拼搶獲得鏈接：

要從前頁面獲取鏈接本身，我們也可以使用pandas做網頁刮數據。例如：

base_url = 'https://vincentarelbundock.github.io/Rdatasets/' 
url = base_url + 'datasets.html' 

import pandas as pd 
df = pd.read_html(url, attrs={'class': 'dataframe'}, 
        header=0, flavor='html5lib')[0] 

將返回頁面中的表中的數據。不幸的是，我們在這裏使用，這是行不通的，因爲pandas抓取頁面上的文字，而不是鏈接。

猴子修補刮刀以獲得鏈接：

要獲得的URL，就可以猴子補丁庫，如：

def _text_getter(self, obj): 
    text = obj.text 
    if text.strip() in ('CSV', 'DOC'): 
     try: 
      text = base_url + obj.find('a')['href'] 
     except (TypeError, KeyError): 
      pass 
    return text 

from pandas.io.html import _BeautifulSoupHtml5LibFrameParser as bsp 
bsp._text_getter = _text_getter 

測試代碼：

base_url = 'https://vincentarelbundock.github.io/Rdatasets/' 
url = base_url + 'datasets.html' 

import pandas as pd 
df = pd.read_html(url, attrs={'class': 'dataframe'}, 
        header=0, flavor='html5lib')[0] 

for row in df.head().iterrows(): 
    print('%-14s: %s' % (row[1].Item, row[1].csv)) 

結果：

AirPassengers: https://vincentarelbundock.github.io/Rdatasets/csv/datasets/AirPassengers.csv 
BJsales  : https://vincentarelbundock.github.io/Rdatasets/csv/datasets/BJsales.csv 
BOD   : https://vincentarelbundock.github.io/Rdatasets/csv/datasets/BOD.csv 
CO2   : https://vincentarelbundock.github.io/Rdatasets/csv/datasets/CO2.csv 
Formaldehyde : https://vincentarelbundock.github.io/Rdatasets/csv/datasets/Formaldehyde.csv