一千萬條資料只花了兩分多鐘,這裡忘記截圖了(關閉了自動提交、關閉了唯一性檢查、load比傳統的insert效率高很多)。
蠕蟲複製500萬條資料只要1分多鐘的優化方式(innodb儲存引擎)。
-- 關閉自動提交
set autocommit=0
-- 關閉唯一性檢查
set unique_checks=0
導完資料記得改回去。
測試結果:
資料庫從500萬條資料瞬間到達1000萬條資料了。
再記錄一下表結構複製的語句:
create table d_paid2 like d_paid
快速複製一張大表討論
有這樣的一類需求,快速複製一張表,而這張表的資料量又非常的大。比方說本來是分割槽表,要把它重新變成非分割槽表,怎麼能夠快速的完成這樣的操作呢?我下面給出2種大致的方法 第一,就是利用ctas方式來建立一張新錶,當然要想加快速度,在資料庫不是force logging的前提下,可以使用nologgin...
如何快速查詢一張大表的前面資料
公司生產上面有一張表,裡面資料有 3486764條,每次想去查詢最新的幾條資料時總是很慢,以下為使用的語句 select from txn fin txn log t order by t.id desc 因為有order by語句會很慢,查詢出來將近1分鐘才能出來,有時候更長 經過腦海裡想了之後,...
Hive中如何快速的複製一張分割槽表(包括資料)
關鍵字 hive 複製表 hive中有時候會遇到複製表的需求,複製表指的是複製表結構和資料。如果是針對非分割槽表,那很簡單,可以使用create table new table as select from old table 那麼如果是分割槽表呢?首先想到的辦法可能是 先建立一張和old tabl...