從哪裏開始將文本文件轉換爲數據庫？

Question

我目前正在嘗試開發一個查詢文本信息的站點。我已經擁有了我需要的所有文本文件，但我對數據庫完全陌生，並且不知道從哪裏開始。

我知道我需要解析文本文件並將它們插入到數據庫中，但我在網上找到的大多數信息都指向了某種SQL服務器在線。我將如何解析文本文件並將它們插入到數據庫中，並作爲回報，將它們移植到網站上？一個地方開始會很棒，我完全失去了）：

我在Java和Python方面有點經驗，熟悉CSS/HTML。

Answer 1

這是一個很大的工作（很多數據）還是你剛剛接觸它？

• 獲取MySQL Workbench
• Learn SQL，創建一些表，選擇好主鍵。
• 瞭解JDBC and prepared statements

如果你有大量的數據的考慮操縱您的文件做一個LOAD DATA INFILE或者，如果你真的有很多的操作考慮Jasper/Talend ETL，但我猜是矯枉過正。

---

看完你的意見後，我已經草擬了一些腳本。

登錄使用MySQL客戶端或工作臺

CREATE DATABASE IF NOT EXISTS `test`; 
USE test; 

嘗試這些

DROP TABLE IF EXISTS `test`.`user`; 
CREATE TABLE `test`.`user` (
    `userid` INT NOT NULL AUTO_INCREMENT , 
    `firstname` VARCHAR(45) NOT NULL , 
    `lastname` VARCHAR(45) NOT NULL , 
    `jobdescription` TEXT NULL, 
    `childhooddescription` TEXT NULL, 
    PRIMARY KEY (`userid`) 
); 


DROP TABLE IF EXISTS `test`.`tempuser`; 
CREATE TABLE `test`.`tempuser` (
    `fullname` VARCHAR(90) NOT NULL, 
    PRIMARY KEY (`fullname`) 
); 

-- Examples you can use 
-- INSERT INTO `test`.`user` (`firstname`,`lastname`) VALUES ("bob","jones"); 
-- INSERT INTO `test`.`tempuser` (`fullname`) VALUES ("JOHN DOE"); 

INSERT INTO `test`.`user`(
    `firstname`, 
    `lastname` 
) 
SELECT 
    SUBSTRING_INDEX(SUBSTRING_INDEX(fullname, ' ', 1), ' ', -1) AS firstname, 
    SUBSTRING_INDEX(SUBSTRING_INDEX(fullname, ' ', 2), ' ', -1) AS lastname 
FROM 
    tempuser; 


SELECT * FROM `user`; 

DROP TABLE IF EXISTS `tempuser`; 

那麼這些

DROP TABLE IF EXISTS `test`.`tempjop`; 
CREATE TABLE `test`.`tempjop` (
    `fullname` VARCHAR(45) NOT NULL, 
    `description` TEXT NOT NULL 
); 

-- Example 
-- INSERT INTO `test`.`tempjop` (`fullname`, `description`) VALUES ("JOHN DOE", "John is a programmer"); 


LOAD DATA INFILE 'C:/Temp/Job.txt' INTO TABLE tempjop 
    FIELDS 
     TERMINATED BY ':' OPTIONALLY ENCLOSED BY '"' 
    LINES 
     TERMINATED BY '\r\n'; 

SELECT 
    * 
FROM 
    `tempjop` 
; 

UPDATE 
    `user` AS U, 
    `tempjop` AS J 
SET 
    U.jobdescription = J.description 
WHERE 
    J.fullname = CONCAT(CONCAT(U.firstname, ' '), U.lastname) 
    -- If you need first names only like 'MARY' uncomment this 
    -- OR J.fullname = U.firstname; 
; 

SELECT * FROM `user`; 

DROP TABLE IF EXISTS `tempjop`; 

我沒有測試所有的，但希望它指向您在正確的方向。

祝你好運。

Answer 2

MySQL的full-text search是第一次嘗試。它可能足夠滿足你所需要的。使用this example作爲您可能需要的模板。

簡而言之，你可能根本就不解析文件。只需標識文檔標題和文檔正文，然後將其作爲兩個單獨的字段插入到表格行中即可。如果有格式化或其他元內容，可能會在插入之前將其刪除。