問題描述:
某日,整合商的人聯絡我說,某個彙總出現了問題,資料庫報出了如下錯誤資訊:
老實說,當時並不太在意,以為無非就是sql執行不了嘛,看看**報錯就結束了。
後來發現問題很大:這個sql的開始執行時間和報錯退出之間差了將近2.5h。
檢查資料庫的相關情況,未見異常。
oncheck -cdi dbname:tabname的時候,發現了很多壞頁,以為是壞頁的問題,於是讓使用者重建表,重新匯入資料。
但是問題依舊。
接下來開始正視這個問題了:
1、oncheck -cdi dbname:tabname肯定是可以過去的了;
2、索引也都是新建的,也能生效;
3、該錶的行長是5.11kb,694個字段,彙總需要涉及477萬行記錄,該sql涉及的select操作需要從磁碟上操作將近25gb資料;
4、insert into 插入的臨時表通過觀察,可以分散在4個臨時dbs上,每個臨時dbs 20gb,足夠使用;
5、讓整合商提取了乙個正常彙總的日誌,發現該步驟在正常時刻只需要11分鐘即可完成;
6、有人建議讓我建立乙個裸表,insert into 裸表 select * from ...; 觀察insert的效率如何,老實說,我沒有做,因為意義不大;
7、我在做insert into 臨時表 select * from ...;的時候,onstat -d觀察,讀取資料的dbs,明顯發現dbs的讀取效能不足,最快的時候不足10mb,而且還不能保證是只有這個表的io;
做完上述動作,我的判斷是磁碟io效能不足所致。
通過跟蹤整合商的日誌,發現兩個問題:
1、特意關閉了pdq;這明顯是不合理的;
2、分片表按天分片,是否應該按小時分片,每次執行天彙總的時候,開啟pdq,是否併發scan會更快;
3、建立完臨時表之後就建立索引,應該先建立臨時表,再insert資料,最後開啟pdq建立索引
上述3個問題,明顯是dba 的水平沒有隨著業務的深入而深入。
今天又被拉入乙個大群討論:
1、我已經明確告知排查儲存的問題,比如儲存的 cache是否關閉,儲存是否有壞盤;
2、結果ibm的工程師告訴我,未見告警;我問是否可以保證儲存的iops的效能,ibm工程師說可以保證主機和儲存的鏈路正常;
3、我簡直是醉了,客戶估計也糊糊塗塗。。。。沒有結果,可悲!
未完,待續。。。。。。
有結果了我再補上吧。
今日繼續補充:
1、一天的資料插入裸表,需要42分鐘;
2、一天的資料插入臨時表,需要48分鐘;
我初步定為目前就是這個速度了,根本追不上11分鐘的帶索引插入的速度了。
先這麼湊合用吧。
建議:1、開啟pdq;
2、調整臨時表建立的速度;
「運營商不能淪為管道」是乙個錯誤的理論
很長一段時間以來,電信運營商不能淪為管道 已經是乙個通訊業廣為接受的理論,電信運營商的領導經常以此為警醒,電信企業的員工,經常也因這個理論產業壓力,甚至連中國移動的口號,也從 移動通訊專家 改為了 移動資訊專家 不能僅做管道,而要在資訊領域,尤其是在移動網際網路中找到更大的機會。在這個指導思想下,電...
IoT為運營商開啟下乙個百億聯接市場
2016世界移動通訊大會將於2月22日 25日在西班牙巴塞隆拿拉開帷幕。本屆大會上,華為將重點展示4.5g iot 物聯網 平安城市等系列創新解決方案,其中,在iot方面,華為將參加gsma舉辦的nb iot全球峰會,並將聯合telefonica舉辦智慧型家庭新聞發布會。在展會現場,華為還將設立io...
對話華為終端CMO 運營商消費者乙個都不能少
華為最近的變化實在太大了,高管集體開微博驚到了整個業界不說,華為終端也不斷飆出 第一次 華為史上第一次。剛剛過去的聖誕節,藉著 匯智 簡悅 戰略品牌理念發布,華為終端與消費者 第一次親密接觸 新年伊始,華為終端首批品牌店1月21日,在北京 上海 深圳的核心商圈同時亮相。一向以運營商市場為核心的華為終...