方法一:迴圈插入
這個也是最普通的方式,如果資料量不是很大,可以使用,但是每次都要消耗連線資料庫的資源。
大致思維如下
(我這裡寫偽**,具體編寫可以結合自己的業務邏輯或者框架語法編寫)
for($i=1;$i<=100;$i++)foreach($arr as $key => $value)while($i <= 100)
方法二:減少連線資源,拼接一條sql
偽**如下
//這裡假設arr的key和資料庫字段同步,其實大多數框架中在php運算元據庫的時候都是這麼設計的
$arr_keys = array_keys($arr);
$sql = 'insert into tablename (' . implode(',' ,$arr_keys) . ') values';
$arr_values = array_values($arr);
$sql .= " ('" . implode("','" ,$arr_values) . "'),";
$sql = substr($sql ,0 ,-1);//拼接之後大概就是 insert into tablename ('username','password') values
('***','***'),('***','***'),('***','***'),('***','***'),('***','***'),('***','***')
.......
//querysql
這樣寫正常插入一萬條基本問題不大,除非資料很長,應付普通的批量插入夠用了,比如:批量生成卡號,批量生成隨機碼等等。。。
方法三:使用儲存過程
這個我手裡正好再用這個就把sql付出來,具體業務邏輯大家自己組合一下就可以。
delimiter $$$create procedure zqtest()
begin
declare i int default 0;set i=0;
start transaction;while i<80000 do
//your insert sql set i=i+1;
end while;
commit;
end$$$
delimiter;call zqtest();
這個也只是個測試**,具體引數大家自行定義
我這裡是一次插入8萬條,雖然不多但是,每一條資料量都很大,有很多varchar4000 和text欄位
耗時 6.524s
方法四:使用mysql local_infile
這個我目前正在使用,所以順便把pdo的**也復上來,以便大家參考
//設定pdo開啟mysql_attr_local_infile
public function pdo_local_info ()
//偽**如下
public function test()
$sql = "load data local infile '" . $myfile . "' into table ";
$sql .= "tablename (" . implode(',' ,$arr_keys) . ")";
$pdo = $this->pdo_local_info ();
$res = $pdo->exec($sql);
if (!$res)
@unlink($my_file);
}}
這個同樣每一條資料量都很大,有很多varchar4000 和text欄位
耗時 2.160s
以上滿足基本需求,100萬資料問題不大,要不資料實在太大也涉及分庫分表了,或者使用佇列插入了。
MySQL大批量插入資料
1.對於myisam型別的表,可以通過以下方式快速的匯入大量的資料。alter table tblname disable keys loading the data alter table tblname enable keys 這兩個命令用來開啟或者關閉myisam表非唯一索引的更新。在匯入大量...
mysql大批量資料插入優化
目前在專案中發現一張700萬的表,插入10萬條資料通過mybatis的批量插入大概需要3分鐘左右,耗時太長。現在通過mysql的load data local infile 命令進行優化插入。最後測試10萬條資料批量插入大概在3秒左右的時間。定義命令執行語句 public inte ce fastb...
MySQL插入大批量測試資料
執行sql drop procedure if exists proc initdata 如果存在此儲存過程則刪掉 delimiter create procedure proc initdata begin declare i int default 1 while i 10000000 do 這...