大批量新增資料

這篇文章主要介紹了php大批量插入資料庫的3種方法和速度對比,3種方法分別使用普通insert語句、insert into語句和事務提交,需要的朋友可以參考下

第一種方法：使用insert into 插入，**如下：

$params = array(『value'=>'50′);

set_time_limit(0);
echo
date(「h:i:s」);
for($i=0;$i
<2000000;$i++);
echo
date(「h:i:s」);

最後顯示為：23:25:05 01:32:05 也就是花了2個小時多!

第二種方法：使用事務提交，批量插入資料庫(每隔10w條提交下)最後顯示消耗的時間為：22:56:13 23:04:00 ，一共8分13秒  ，**如下：

echo

date(「h:i:s」);
$connect_mysql->query(『begin');
$params = array(『value'=>'50′);
for($i=0;$i<2000000;$i++)
}$connect_mysql->query(『commit');
echo
date(「h:i:s」);

第三種方法：使用優化sql語句：將sql語句進行拼接，使用 insert into table () values  (),(),(),()然後再一次性插入，如果字串太長，

則需要配置下mysql，在mysql 命令列中執行 ：set global max_allowed_packet =  2*1024*1024*10;消耗時間為：11:24:06 11:25:06;

插入200w條測試資料僅僅用了1分鐘!**如下：

$sql=「insert into twenty_million (value) values」;

for($i=0;$i
<2000000;$i++);
$sql = substr($sql,0,strlen($sql)-1);
$connect_mysql->query($sql);

最後總結下，在插入大批量資料時，第一種方法無疑是最差勁的，而第二種方法在實際應用中就比較廣泛，第三種方法在插入測試資料或者其他低要求時比較合適，速度確實快。

mysql大批量更新資料

大批量的更新資料如果再使用傳統的 update 方法一條一條的更新，效率是很慢的，而且效能差，也很容易造成阻塞。1 使用mysql 自有的語句構建批量更新 update tble set price case id when 16 then 7.6 when 19 then 8.86 when 20...

solr大批量資料匯出

需求 有100個core，每個core4000w資料量。把所有資料匯出來。方案1.直接對每個core通過httpsolrclient先取出總條數，然後通過每次分頁讀n行，直到讀完，這個方案肯定不行，因為越到後面，讀取速度越慢，不用想都要很長時間。方案2.深度分頁 通過游標，可以使分頁速度很快。sol...

MySQL大批量插入資料

1.對於myisam型別的表，可以通過以下方式快速的匯入大量的資料。alter table tblname disable keys loading the data alter table tblname enable keys 這兩個命令用來開啟或者關閉myisam表非唯一索引的更新。在匯入大量...