本篇文章分析sql語句在mysql中的執行流程,包括sql的查詢在mysql內部會怎麼流轉,sql語句的更新是怎麼完成的。在分析之前我們一起看看mysql的基礎架構,知道了 mysql由那些元件組成以及這些元件的作用是什麼,可以幫助我們理解和解決這些問題。
下面是mysql的乙個簡要架構圖:
server層
主要包括聯結器、查詢快取、分析器、優化器、執行器等,所有跨儲存引擎的功能都在這一層實現,比如儲存過程、觸發器、檢視,函式等,還有乙個通用的日誌模組binglog日誌模組。
儲存引擎
主要負責資料的儲存和讀取,採用可以替換的外掛程式式架構,支援innodb、myisam、memory等多個儲存引擎,其中innodb引擎有自有的日誌模組redolog 模組,innodb 5.5.5版本作為預設引擎。
聯結器主要負責使用者登入資料庫,進行使用者的身份認證,包括校驗賬戶密碼,許可權等操作,如果使用者賬戶密碼已通過,聯結器會到許可權表中查詢該使用者的所有許可權,之後在這個連線裡的許可權邏輯判斷都是會依賴此時讀取到的許可權資料,也就是說,後續只要這個連線不斷開,即時管理員修改了該使用者的許可權,該使用者也是不受影響的。
查詢快取
連線建立後,執行查詢語句的時候,會先查詢快取,mysql會先校驗這個sql是否執行過,以key-value的形式快取在記憶體中,key是查詢預計,value是結果集。如果快取key被命中,就會直接返回給客戶端,如果沒有命中,就會執行後續的操作,完成後也會把結果快取起來,方便下一次呼叫。當然在真正執行快取查詢的時候還是會校驗使用者的許可權,是否有該錶的查詢條件。
mysql查詢不建議使用快取,因為對於經常更新的資料來說,快取的有效時間太短了,往往帶來的效果並不好,對於不經常更新的資料來說,使用快取還是可以的,mysql 8.0版本後刪除了快取的功能,官方也是認為該功能在實際的應用場景比較少,所以乾脆直接刪掉了。
分析器mysql沒有命中快取,那麼就會進入分析器,分析器主要是用來分析sql語句是來幹嘛的,分析器也會分為幾步:
第一步,詞法分析,一條sql語句有多個字串組成,首先要提取關鍵字,比如select,提出查詢的表,提出欄位名,提出查詢條件等。
第二步,語法分析,主要是判斷你輸入的sql是否正確,是否符合mysql的語法。
完成這2步之後,mysql就準備開始執行,但是如何執行,怎麼執行是最好的結果呢?這個時候就需要優化器上場了。
優化器優化器的作用就是它認為的最優的執行方案去執行(雖然有時候也不是最優),比如多個索引的時候該如何選擇索引,多表查詢的時候如何選擇關聯順序等。
執行器當選擇了執行方案後,mysql就準備開始執行了,首先執行前會校驗該使用者有沒有許可權,如果沒有許可權,就會返回錯誤資訊,如果有許可權,就會去呼叫引擎的介面,返回介面執行的結果。
查詢語句
說了以上這麼多,那麼究竟一條sql語句是如何執行的呢?其實我們的sql可以分為兩種,一種是查詢,一種是更新(增加,更新,刪除)。我們先分析下查詢語句,語句如下:
select * from tb_student a where a.age=『18』 and a.name=『張三』;
update tb_student a set a.age=『19』 where a.name=『張三』;
我們來給張三修改下年齡,在實際資料庫肯定不會設定年齡這個欄位的,不然要被技術負責人打的。其實條語句也基本上會沿著上乙個查詢的流程走,只不過執行更新的時候肯定要記錄日誌啦,這就會引入日誌模組了,mysql自帶的日誌模組式binlog(歸檔日誌),所有的儲存引擎都可以使用,我們常用的innodb引擎還自帶了乙個日誌模組redo log,我們就以innodb模式下來**這個語句的執行流程。流程如下:
先查找到張三這一條資料,如果有快取,也是會用到快取。
然後拿到查詢的語句,把 age 改為19,然後呼叫引擎api介面,寫入這一行資料,innodb引擎把資料儲存在記憶體中,同時記錄redo log,此時redo log進入prepare狀態,然後告訴執行器,執行完成了,隨時可以提交。
執行器收到通知後記錄binlog,然後呼叫引擎介面,提交redo log 為提交狀態。
更新完成。
這裡肯定有人會問,為什麼要用兩個日誌模組,用乙個日誌模組不行嗎?這就是之前mysql的模式了,myisam引擎是沒有redo log的,那麼我們知道它是不支援事務的,所以並不是說只用乙個日誌模組不可以,只是innodb引擎就是通過redo log來支援事務的。那麼,又會有同學問,我用兩個日誌模組,但是不要這麼複雜行不行,為什麼redo log要引入prepare預提交狀態?這裡我們用反證法來說明下為什麼要這麼做?
先寫redo log直接提交,然後寫binlog,假設寫完redo log後,機器掛了,binlog日誌沒有被寫入,那麼機器重啟後,這台機器會通過redo log恢復資料,但是這個時候bingog並沒有記錄該資料,後續進行機器備份的時候,就會丟失這一條資料,同時主從同步也會丟失這一條資料。
先寫binlog,然後寫redo log,假設寫完了binlog,機器異常重啟了,由於沒有redo log,本機是無法恢復這一條記錄的,但是binlog又有記錄,那麼和上面同樣的道理,就會產生資料不一致的情況。
如果採用redo log兩階段提交的方式就不一樣了,寫完binglog後,然後再提交redo log就會防止出現上述的問題,從而保證了資料的一致性。那麼問題來了,有沒有乙個極端的情況呢?假設redo log 處於預提交狀態,binglog也已經寫完了,這個時候發生了異常重啟會怎麼樣呢? 這個就要依賴於mysql的處理機制了,mysql的處理過程如下:
判斷redo log是否完整,如果判斷是完整的,就立即提交。
如果redo log只是預提交但不是commit狀態,這個時候就會去判斷binlog是否完整,如果完整就提交redo log,不完整就回滾事務。
這樣就解決了資料一致性的問題。
mysql主要分為server層和引擎層,server層主要包括聯結器、查詢快取、分析器、優化器、執行器,同時還有乙個日誌模組(binlog),這個日誌模組所有執行引擎都可以共用。
引擎層是外掛程式式的,目前主要包括,myisam、innodb、memory等。
查詢語句的執行流程如下:許可權校驗(如果命中快取)→查詢快取→分析器→優化器→許可權校驗→執行器→引擎
更新語句執行流程如下:分析器→許可權校驗→執行器→引擎→redo log(prepare 狀態)→binlog→redo log(commit狀態)
在SHELL中執行MYSQL語句
使用shell指令碼做日誌分析,為了將分析後的結果直接儲存到mysql資料庫中需要在shell指令碼中執行mysql的語句。方法一將每一步需要執行的語句儲存到 tmp.sql 中,最後在使用 mysql u uname p pwd tmp.sql 方式執行 方法二使用引數傳遞執行 mysql u u...
一條sql語句在mysql中如何執行的
1.1 mysql 基本架構概覽 下圖是 mysql 的乙個簡要架構圖,從下圖你可以很清晰的看到使用者的 sql 語句在 mysql 內部是如何執行的。先簡單介紹一下下圖涉及的一些元件的基本作用幫助大家理解這幅圖,在 1.2 節中會詳細介紹到這些元件的作用。查詢快取 執行查詢語句的時候,會先查詢快取...
一條SQL語句在MySQL中如何執行的
本篇文章會分析乙個 sql 語句在 mysql 中的執行流程,包括 sql 的查詢在 mysql 內部會怎麼流轉,sql 語句的更新是怎麼完成的。在分析之前我會先帶著你看看 mysql 的基礎架構,知道了 mysql 由那些元件組成以及這些元件的作用是什麼,可以幫助我們理解和解決這些問題。1.1 m...