從sqlite數據庫中刪除重複的行

Question

我有一個巨大的表 - 3600萬行 - 在SQLite3中。

在這個非常大的表，有兩列

• 哈希 - 文本
• d - 真正

然而，某些行是重複的。也就是說，哈希和d都具有相同的值。

另外，如果兩個散列是相同的，所以都是d的值，但兩個相同的DS並不意味着兩個相同的哈希

不管怎樣，我想刪除重複的行。我沒有主鍵列。 這樣做的最快方法是什麼？

---

編輯：delete from dist where rowid not in (select max(rowid) from dist group by hash);

出現這樣的伎倆。

Answer 1

您需要一種方法來區分行。根據你的評論，你可以使用特殊的rowid column。

要通過保持刪除重複的最低rowid每(hash,d)：

delete from YourTable 
where rowid not in 
     (
     select min(rowid) 
     from YourTable 
     group by 
       hash 
     ,  d 
     ) 

Answer 2

如果添加主鍵不是選項，那麼一種方法是將重複的DISTINCT存儲在臨時表中，從現有表中刪除所有重複記錄，然後將記錄添加回原始表中從臨時表中。

例如（寫爲SQL Server 2008，但該技術爲任何數據庫中的相同）：

DECLARE @original AS TABLE([hash] varchar(20), [d] float) 
INSERT INTO @original VALUES('A', 1) 
INSERT INTO @original VALUES('A', 2) 
INSERT INTO @original VALUES('A', 1) 
INSERT INTO @original VALUES('B', 1) 
INSERT INTO @original VALUES('C', 1) 
INSERT INTO @original VALUES('C', 1) 

DECLARE @temp AS TABLE([hash] varchar(20), [d] float) 
INSERT INTO @temp 
SELECT [hash], [d] FROM @original 
GROUP BY [hash], [d] 
HAVING COUNT(*) > 1 

DELETE O 
FROM @original O 
JOIN @temp T ON T.[hash] = O.[hash] AND T.[d] = O.[d] 

INSERT INTO @original 
SELECT [hash], [d] FROM @temp 

SELECT * FROM @original 

我不知道如果sqlite的有ROW_NUMBER()類型的功能，但如果這樣做你可以還請嘗試下面列出的一些方法：Delete duplicate records from a SQL table without a primary key