寫入1000萬資料到資料庫

2022-08-01 18:27:10 字數 780 閱讀 2070

<?php   

header('content-type:text/html;charset=utf-8;');

date_default_timezone_set("prc");

$t=time();

set_time_limit(0);

$myfile="./1.sql";

$fhandler=fopen($myfile,'wb');

if($fhandler)

echo"寫入成功,耗時:",time()-$t;

}

//注意字段不再以逗號分割,以\t分割,條記錄以\r\n分割。

2.在mysql中執行****

load data local infile 'c:/1.sql' into table `cache`(`id`, `name`);

注意:在插入大資料之前先將表的主鍵、唯一健刪除,不然每插入一條資料都會和之前的資料進行對比是否重複

比如說之前有10w條資料、現在你需要再插入50w條資料,就是50wx50w次重複檢查。想想這樣的話,資料

越多檢查就越多。

資料新增完以後再進行設定主鍵、唯一健。

自己測試過的結果。

[sql]load data local infile 'd:/www/learn/1.sql' into table `demo`(`id`, `name`);

受影響的行: 10000000

資料庫 寫入資料過程

1 事務開始 2 在buffer cache中找到需要的資料塊,如果沒有找到,則從資料檔案中載入buffer cache中 3 事務修改buffer cache的資料塊,該資料被標識為 髒資料 並被寫入log buffer中 4 事務提交,lgwr程序將log buffer中的 髒資料 寫入redo...

使用scrapy框架爬蟲,寫入到資料庫

import scrapy class bossitem scrapy.item define the fields for your item here like name scrapy.field name scrapy.field 對應實體類的屬性 salary scrapy.field co...

關於使用Java程式寫入資料到資料庫亂碼的解決方案

1 首先我們新建乙個servlet用於連線資料庫操作,就是insert into 表名 欄位1,欄位2 values 1,2 注意 我連線的時候使用的是beanutils連線的 這裡面連線資料庫出錯很有可能是包沒有導對形成的,一定要仔細檢查包名是否正確 2 確認連線資料庫的時候我們會把連線資訊單獨抽...