使用Python將CSV文件導入到sqlite3數據庫表中

我有一個CSV文件，我想用Python將這個文件批量導入到我的sqlite3數據庫中。該命令是「.import .....」。但它似乎不能像這樣工作。任何人都可以給我一個如何在sqlite3中做的例子嗎？我正在使用Windows以防萬一。謝謝使用Python將CSV文件導入到sqlite3數據庫表中

來源

2010-05-22 Hossein

請提供** actual **命令和** ** actual **錯誤消息。「導入....」可以是任何東西。「不能工作」對我們來說太模糊了。沒有細節，我們無法幫助。 – 2010-05-22 11:30:23

正如我所說的實際命令是「.import」，它說新的語法錯誤「.import」 – Hossein 2010-05-22 11:36:43

請實際發佈實際命令的問題。實際上請在問題中發佈實際的錯誤消息。請不要添加簡單重複的評論。請用實際複製並粘貼您實際正在做的事情來更新問題。 – 2010-05-22 11:46:27

import csv, sqlite3 

con = sqlite3.connect(":memory:") 
cur = con.cursor() 
cur.execute("CREATE TABLE t (col1, col2);") # use your column names here 

with open('data.csv','rb') as fin: # `with` statement available in 2.5+ 
    # csv.DictReader uses first line in file for column headings by default 
    dr = csv.DictReader(fin) # comma is default delimiter 
    to_db = [(i['col1'], i['col2']) for i in dr] 

cur.executemany("INSERT INTO t (col1, col2) VALUES (?, ?);", to_db) 
con.commit() 
con.close()

來源

2010-05-22 12:20:04 bernie

如果您遇到同樣的問題，請執行以下操作：確保將col1和col2更改爲csv文件中的列標題。並通過在最後調用con.close（）關閉與數據庫的連接。 – Jonas 2016-08-08 21:31:43

謝謝，@Jonas。更新後。 – bernie 2016-08-08 21:38:10

當我嘗試這種方法時，我總是收到'不是所有在字符串格式化過程中轉換的參數。 – Whitecat 2016-09-01 23:27:53

.import命令是sqlite3命令行工具的一個功能。要在Python中完成，只需使用Python提供的任何工具（例如csv module）加載數據，然後按照慣例插入數據。

這樣，您也可以控制插入哪些類型，而不是依賴sqlite3看似沒有記錄的行爲。

來源

2010-05-22 11:34:41

沒有必要準備插頁。 SQL語句和編譯結果的來源保存在緩存中。 – 2010-06-17 04:13:37

@John Machin：有沒有鏈接到SQLite如何做到這一點？ – 2010-06-17 07:34:35

@Marcelo：如果您對如何完成它（爲什麼？）感興趣，請查看sqlite源代碼或在sqlite郵件列表中詢問。 – 2010-06-17 07:54:23

非常感謝伯尼的answer！不得不調整了一點 - 這裏是爲我工作：

import csv, sqlite3 
conn = sqlite3.connect("pcfc.sl3") 
curs = conn.cursor() 
curs.execute("CREATE TABLE PCFC (id INTEGER PRIMARY KEY, type INTEGER, term TEXT, definition TEXT);") 
reader = csv.reader(open('PC.txt', 'r'), delimiter='|') 
for row in reader: 
    to_db = [unicode(row[0], "utf8"), unicode(row[1], "utf8"), unicode(row[2], "utf8")] 
    curs.execute("INSERT INTO PCFC (type, term, definition) VALUES (?, ?, ?);", to_db) 
conn.commit()

我的文本文件（PC.txt）看起來是這樣的：

1 | Term 1 | Definition 1 
2 | Term 2 | Definition 2 
3 | Term 3 | Definition 3

來源

2012-09-14 21:37:11 jiy

#!/usr/bin/python 
# -*- coding: utf-8 -*- 

import sys, csv, sqlite3 

def main(): 
    con = sqlite3.connect(sys.argv[1]) # database file input 
    cur = con.cursor() 
    cur.executescript(""" 
     DROP TABLE IF EXISTS t; 
     CREATE TABLE t (COL1 TEXT, COL2 TEXT); 
     """) # checks to see if table exists and makes a fresh table. 

    with open(sys.argv[2], "rb") as f: # CSV file input 
     reader = csv.reader(f, delimiter=',') # no header information with delimiter 
     for row in reader: 
      to_db = [unicode(row[0], "utf8"), unicode(row[1], "utf8")] # Appends data from CSV file representing and handling of text 
      cur.execute("INSERT INTO neto (COL1, COL2) VALUES(?, ?);", to_db) 
      con.commit() 
    con.close() # closes connection to database 

if __name__=='__main__': 
    main()

來源

2013-11-01 15:43:22 Christopher

unicode（）函數在哪裏？ – 2016-12-02 20:39:05

創建對文件的sqlite的連接磁盤作爲練習留給讀者......但現在有一個由熊貓庫

df = pandas.read_csv(csvfile) 
df.to_sql(table_name, conn, if_exists='append', index=False)

來源

2015-03-02 04:14:26

謝謝。我遇到了熊貓問題。我的csv由';'分隔並在條目中有'，'。熊貓在read_csv上給出錯誤。用逗號w/out讀取條目的任何設置都會暫時替換？ – 2016-06-19 06:42:20

使用sep =';'。熊貓文件清楚地概述瞭如何處理這個問題。 – 2016-06-20 08:01:52

有沒有辦法使用熊貓，但不使用RAM ?,我有一個巨大的.csv（7GB）我不能導入爲數據幀，然後附加到數據庫。 – 2016-11-18 12:57:48

我的2美分（更多GE成爲可能兩班輪neric）：

import csv, sqlite3 
import logging 

def _get_col_datatypes(fin): 
    dr = csv.DictReader(fin) # comma is default delimiter 
    fieldTypes = {} 
    for entry in dr: 
     feildslLeft = [f for f in dr.fieldnames if f not in fieldTypes.keys()] 
     if not feildslLeft: break # We're done 
     for field in feildslLeft: 
      data = entry[field] 

      # Need data to decide 
      if len(data) == 0: 
       continue 

      if data.isdigit(): 
       fieldTypes[field] = "INTEGER" 
      else: 
       fieldTypes[field] = "TEXT" 
     # TODO: Currently there's no support for DATE in sqllite 

    if len(feildslLeft) > 0: 
     raise Exception("Failed to find all the columns data types - Maybe some are empty?") 

    return fieldTypes 


def escapingGenerator(f): 
    for line in f: 
     yield line.encode("ascii", "xmlcharrefreplace").decode("ascii") 


def csvToDb(csvFile, outputToFile = False): 
    # TODO: implement output to file 

    with open(csvFile,mode='r', encoding="ISO-8859-1") as fin: 
     dt = _get_col_datatypes(fin) 

     fin.seek(0) 

     reader = csv.DictReader(fin) 

     # Keep the order of the columns name just as in the CSV 
     fields = reader.fieldnames 
     cols = [] 

     # Set field and type 
     for f in fields: 
      cols.append("%s %s" % (f, dt[f])) 

     # Generate create table statement: 
     stmt = "CREATE TABLE ads (%s)" % ",".join(cols) 

     con = sqlite3.connect(":memory:") 
     cur = con.cursor() 
     cur.execute(stmt) 

     fin.seek(0) 


     reader = csv.reader(escapingGenerator(fin)) 

     # Generate insert statement: 
     stmt = "INSERT INTO ads VALUES(%s);" % ','.join('?' * len(cols)) 

     cur.executemany(stmt, reader) 
     con.commit() 

    return con

來源

2015-06-09 14:20:35

如果len（feildslLeft）> 0：總是爲true，所以引發異常。請檢查並更正此問題。 – shubham 2016-01-09 22:34:24

任何方式做到這一點，而不必fseek（），以便它可以用於流？ – mwag 2016-11-20 21:29:37

可以使用blaze & odo有效

import blaze 
csv_path = 'data.csv' 
bz.odo(csv_path, 'sqlite:///data.db::data')

奧多將CSV文件存儲到data.db（SQLite數據庫）架構data

或者你用odo下做到這一點直接，沒有blaze。無論哪種方式都很好。請閱讀documentation

來源

2017-01-11 07:16:20

使用Python將CSV文件導入到sqlite3數據庫表中

回答

相關問題