網上有些做法是這樣的:
delete from table_name where id not in (select min_id from (select min(id) as min_id from table_name group by duplicate_column) b);
發現這樣在本地跑是可行的,20w+資料大概花了8s,但是同樣的資料在linux上跑會出現cpu占用100%,而且還一直無法執行完畢。暫時不知道什麼原因。
用另一種做法
sql語句:
alter ignore table tablename
add unique index (`column`);
該語句會幫你把該字段的重複資料刪除。
參考:
oracle刪除重複行
oracle刪除重複行,一定是設定主鍵才能用 delete from sys role function a where exists select from sys role function where srfu id oracle刪除重複行,可以不用主鍵,推薦使用 delete from sy...
Linux刪除重複行
文字處理時,經常要刪除重複行,下面是三種方法 第一,用sort uniq,注意,單純uniq是不行的。sort n test.txt uniq 第二,用sort awk命令,注意,單純awk同樣不行,原因同上。sort n file awk 第三,用sort sed命令,同樣需要sort命令先排序。...
ConyEdit刪除重複行
conyedit是一款跨編輯器的外掛程式,保持conyedit在後台執行就可以在windows上的任何文字編輯器或ide上使用它的命令了。對於刪除重複行,可以使用它的 cc.ddl 命令。使用方法 在需要處理的文字後面輸入 cc.ddl 命令列,複製文字以及命令列,再貼上就可以了。舉例 保持cony...