將大資料匯入到Tidb中的坑

2021-09-03 07:44:30 字數 1010 閱讀 9311

參照官網將採用docker-compose.yml方式搭建好測試環境的tidb,

下一步將資料匯入,

因為資料量較大,匯入的時候報錯:

需要修改tidb-server的配置檔案,進入容器檢視,為根目錄下,

但該檔案許可權無法修改,使用chmod報錯:read-only file system

檢查docker-compose.yml檔案,為該檔案是對映出來,將物理伺服器上的檔案進行修改,將stmt-count-limit修改為50000000,將tidb-server服務重啟後,配置正常修改了

再次匯入資料,仍然報錯:

查詢問題原因,需要修改tidb配置,讓其自動分片匯入

修改配置後重新匯入,仍存在問題,嘗試將tidb服務重啟

查詢原因,為該變數僅在當前連線中生效,後連線到mysql上,使用source進行匯入

使用該工具進行匯入。

*教訓:看官方文件說明   0.0

將資料匯入到Oracle中

1.create table people age int,id int 2.建立資料檔案peopledate.txt.資料為 20,1 30,2 3.建立命令檔案 loaddata.ctl 內容為 sqlldr userid dbname dbpasswd control loaddata.ctl...

mysql將資料匯入到excel中

先建立一張測試的資料表 create table users username varchar 40 not null,password varchar 40 not null charset utf8 插入資料 insertinto users values admin admin inserti...

將excel中的資料匯入到matlab中

1 將excel中的資料匯入到matlab中 方法一 將excel中 的資料匯入到matlab中採用matlab庫函式xlsread 1 c xlsread filename.xls 2 c xlsread filename.xls range 表示讀取excel的range範圍,range的範圍是...