這一年996搞專案,一直沒時間寫,專案告一段落,抽空記錄一下。
大概情況,一張400萬的表,一張300萬錶,每張表20多個字段,2張表抽取資料,根據業務整合。插入新錶。
臨時被安排過來搞這個,原來想法使用儲存過程處理,同事已經用python處理資料,效率太慢。奈何沒接觸過python,沒辦法,
開始修改同事的python。拿到**,思路是使用多執行緒取資料,業務處理之後 塞回資料庫,不過還是慢,整體下來要半個小時。
還沒想好,後面有進展再更新吧
需要調整的資料庫引數
1、關閉binlog
2、新增或修改mysql安裝目錄下的my.ini檔案中的[mysqld]段中的 max_allowed_packet = 1024m
一次現場mysql重覆記錄資料的排查處理實戰記錄
目錄 我當時正好出差在客戶現場部署除錯軟體,有一天客戶突然找到我這裡,說他們現場生產的資料出現了異常的情況,最直接的表現就是 同乙個標籤,出現在了多個物料上,需要我配合,看怎麼排查問題 客戶當時直接一摞重複標籤的盒子碼在我面前,我慌得一匹,這怕不是捅婁子了 稍加思索,現在需要做的就是,在資料庫中查詢...
mysql一次更新多條記錄問題
replace into和insert into on duplicate key 區別 create table test id tinyint 3 unsigned not null auto increment,name char 10 not null default dept char 1...
記錄一次mysql主從複製
首先準備2臺mysql 安裝mysql 記得關閉防火牆 關閉防火牆 安裝centos 7 安裝完mysql以後記得檢視mysql的uuid是否一致 因為有的人是安裝好一台後直接轉殖的伺服器,如果你是單獨安裝的請忽略 如果一致記得修改,具體操作如下 首先找到你的my.cnf檔案,然後根據datadir...