問題描述:
普通台式電腦,採集資料,1000萬資料量。
採集回來的資料插入表中的時候很慢,每條約100毫秒。
解決方法:
1、加大mysql配置中的bulk_insert_buffer_size,這個引數預設為8m
bulk_insert程式設計客棧_buf
2、改寫所有insert語句為insert delayed
這個insert delayed不同之處在於:立即返回結果,後台進行處理插入。
還有乙個技巧是在一跳insert中插入多條資料,類似insert into tablename values('***','***'),('yyy','yyy'),(程式設計客棧'qxqtuzzz','zzz')...;但是在我採集程式中改sql比較麻煩,故未採用
我們小編提醒:
說實話一般主要用於資料的採集入庫操作,成熟的cms不建議修改,dedecms是由於本人的系統設計問題,建議使用商業版或自行建立索引等,現在大資料首選帝國cms或phpcms。
本文位址: /shujuku/mysql/117385.html
提高mysql插入資料的速度
需要在mysql中插入2000萬條記錄,用insert語句插入速度很有限,每秒鐘幾百條,放在hadoop集群上跑也是這個速度,可能是資料庫的問題了,網上看到sql server和oracle的insert速度也不是很快。比較簡單的優化方法如下 1 在一條insert語句中插入多條記錄 insert ...
mysql新增語句 Mysql中插入資料語句
在mysql中insert into insert into set insert ignore into replace into都是插入資料的語句。insert into 的 sql語法 新增一行資料 如果資料時字元型,需要加上單 雙引號 insert into table name field...
mysql 提高mysql語句效率的技巧
一 大批量插入資料 1.大批量資料插入空表,可將表設定成為myisam,並通過disable keys將唯一索引關閉 2.大批量資料插入非空innodb表,可採取如下措施提高效率 1 匯入資料時按照主鍵順序排列 2 匯入資料前使用set unique checks 0,關閉唯一性校驗,匯入後恢復 3...