今天把需要分析的資料匯入到資料庫中。
資料將近7000萬條，在txt檔案中存放，共5.75g。採用load data infile 匯入，最後花了18個小時匯入。主要做了以下修改：
1. mysql優化
key_buffer_size = 64m
max_allowed_packet = 8m
innodb_buffer_pool_size = 1024m
innodb_flush_log_at_trx_commit = 0
innodb_support_xa = 0
2. mysql設定
戳我（1）
set autocommit=0;
... sql import statements
...commit;
（2）set unique_checks=0;
... sql import statements ...
set unique_checks=1;
（3）set foreign_key_checks=0;
... sql import statements ...
set foreign_key_checks=1;
無圖無真相
快速匯入Excel
using system using system.collections.generic using system.text using system.data.oledb using system.data.sqlclient using system.data using system.win...
mysql 隔行匯入 MYSQL快速匯入本地資料
mysql提供了從本地檔案快速導資料的命令，具體說明如下 load data low priority concurrent local infile file name replace ignore into table tbl name character set charset name te...
按時間增量匯入 MySQL快速大量匯入
在理想的情況下，希望使用單個鏈結，進行多行的資料。插入需要的時間由以下幾個因素決定，數字表示大概佔比 連線向伺服器傳送查詢 解析查詢 插入行 1 行大小 插入索引 1 索引數 關閉如果要將資料新增到非空表，則可以增大 bulk insert buffer size 變數以使資料插入更快。可以使用下面...