本文就微服務事務一致性問題產生根源、業界常用方案優缺點進行了分析對比,在此基礎上提出了用友微服務事務一致性解決方案,詳細介紹了用友cc事務模型及原理,以及此方案解決的場景。
在傳統巨石應用架構模式下,架構特點主要是mvc模式,由controller層負責對外提供服務介面,所有功能集中在乙個服務例項中,通過增減服務例項來擴充套件集群的處理能力,但資料持久化集中在乙個資料庫儲存,資料一致性主要依靠傳統資料庫本地事務機制保證,這種架構模式特點是簡單、快捷,方便業務規模不大,業務功能單一的場景,隨著業務增長,無論是業務規模還是業務範圍都在快速變化,這種巨石架構模式就顯得力不從心,不易於開發協調,因此,微服務架構模式應運而生,所謂微服務通俗來說就是對服務進行垂直拆分,將乙個整體服務拆分成功能相對獨立的單元服務,各單元服務之間通過rpc進行同步或非同步呼叫。微服務架構模式下各個服務單元各自有獨立的資料持久層,乙個業務請求需要多個微服務單元共同協作,要求各服務單元要麼同時成功或同時失敗,但微服務例項分別部署在不同的程序或主機節點上,每個服務例項的狀態、網路等情況是不可預知的,因此,如何保證乙個業務請求中各單元服務資料保持一致性成為微服務架構中乙個關鍵的問題。
兩階段提交
兩階段提交屬於剛性事務,兩階段分為準備階段和提交階段,在準備階段,由事務協調器向各個參與者傳送prepare訊息,參與者收到訊息後,要麼返回失敗,要麼執行本地事務,並寫本地redo和undo日誌,但是並不commit事務,此時,本地事務資源是被鎖定狀態,其它服務或應用是不能使用此資源的。在提交階段,事務協調者在接收到所有參與者事務訊息通知之後,根據所有參與者提交階段返回的狀態確定在提交階段是回滾還是提交事務,只要有乙個參與者超時或者失敗,協調者就向所有參與者傳送回滾請求,否則就向參與者傳送提交請求。
二階段提交的優點
1)實現了事務的隔離,確保了強一致性,即本地事務未提交的資料對其它事務不可見,事務要麼都提交成功要麼都失敗
2)業務程式設計簡單,由於事務管理是由事務協調者及本地事務資源管理器實現,開發者必須要介入太多事務相關的工作
二階段提交缺點
1)同步阻塞呼叫,在事務執行過程中,所有參與者同步鎖定資源以實現隔離,被鎖定的資源不能被其他事務訪問
2)需要本地事務支援,即本地資料庫需要支援xa協議
3)需要事務協調者,協調者存在單點問題
4)事務會出現無法確認的狀態。當協調者發出commit請求後,然後協調者宕機,而參與者可能只有乙個已提交,其它參與者尚未提交,此時如果唯一的參與者也宕機,整個事務狀態將無法確認
5)主要解決的單jvm跨庫的事務一致性
tcc事務
tcc事務即try-confirm-cancel三個階段,是柔性事務的一種,實現的是最終一致性,適合於同步呼叫過程。tcc是應用層的兩階段提交,不需要事務本地資料庫對xa協議的支援。tcc事務模型有三個部分組成
·主業務服務
主業務服務為整個業務活動的發起方,通常是服務聚合應用,比如**系統的下單系統,下單時需要呼叫庫存系統減庫存,支付系統付款及積分系統給使用者積分以及購物車系統清理購物車內容。
·從業務服務
從業務服務負責提供tcc業務操作,是整個業務活動的操作方。從業務服務必須實現try、confirm和cancel三個介面,供主業務服務呼叫。由於confirm和cancel操作可能被重複呼叫,故要求confirm和cancel兩個介面必須是冪等的。
·業務活動管理器
業務活動管理器管理控制整個業務活動,包括記錄維護tcc全域性事務的事務狀態和每個從業務服務的子事務狀態,並在業務活動提交時確認所有的tcc型操作的confirm操作,在業務活動取消時呼叫所有tcc型操作的cancel操作。
1)try:嘗試執行業務
完成所有業務檢查(一致性)
預留必須業務資源(準隔離性)
2)confirm:確認執行業務
真正執行業務
不做任何業務檢查
只使用try階段預留的業務資源
只要try階段執行成功,需要確保confirm一定成功,可以不斷重試
3)cancel:取消執行業務
釋放try階段預留的業務資源
只要try階段失敗,必須確保cancel最終一定成功
tcc模式優點
1)解決了跨應用的事務問題
2)把資料庫層面的兩階段提交提到應用層來實現,不需要資料庫層面來支援xa協議,規避了資料庫的xa支援的缺陷
tcc模式缺點
1)需要從業務的角度來設計業務介面,確保業務可分解成try、confirm、cancel三個階段,增加了業務程式設計的複雜性
2)由於每個應用的網路不一定可靠,可能會多次呼叫業務介面,需要業務層面考慮冪等性操作
3)由於三個階段都是同步呼叫過程,因此隨著參與者增多,對主業務響應速度有影響
基於訊息佇列的最終一致性
基於訊息佇列的最終一致性考慮的場景是業務之間通過非同步呼叫來實現,即作為服務呼叫方發起方非同步呼叫之後立即返回,不必等待被呼叫服務實際返回結果,這樣就可以基於訊息佇列來實現業務之間的解耦,由各業務來確保最終一致性。
基於訊息佇列的最終一致性方案的優點
1)各業務之間完全解耦,單個業務效能不會影響整體服務
2)有助於提公升服務的整體效能和吞吐量
3)實現起來簡單,只需要參與事務的各方在收到訊息後確保本地事務一致性、冪等性
基於訊息佇列的最終一致性方案的缺點
1)需要業務呼叫方來確保本地事務和傳送訊息的原子性,雖然像activemq支援事務訊息,但是事務訊息對效能影響較大,可以在本地建立訊息表的方式來確保本地事務與傳送訊息同時成功或失敗
2)當出現不一致時,需要人工介入處理各個業務的執行狀態
用友微服務治理中的事務一致性解決方案綜合了tcc與基於訊息佇列的最終一致性,cc事務模型,即confirm 和cancel模型。該模型將分布式事務邊界劃以非同步呼叫為邊界,只要在呼叫鏈中加入事務的同步呼叫,都屬於乙個全域性事務,在這個全域性事務中,保證事務的最終一致性,如圖:
在此圖中乙個完整的呼叫鏈從a服務開始,在左邊方框內是rpc同步呼叫,而右邊也是乙個rpc同步呼叫,兩個方框之間的服務c是通過非同步呼叫框架eos基於可靠訊息佇列對服務e發起呼叫,cc事務模型將此次呼叫當做兩個事務處理。
cc事務模型事務狀態變化時序圖,rpc呼叫鏈關係為a->b,b->c,b->d,c->e,時序圖如下:
cc事務模型過程,a同步呼叫b服務,事務框架在a服務內部資料庫記錄對b的呼叫上下文及事務記錄,事務狀態為confirming狀態,同時,rpc框架將事務上下文傳遞給b,b服務接收到rpc呼叫請求,b服務記錄事務,同時事務為confirming狀態,同理,b呼叫c,c呼叫e,b呼叫d.此時,如果b呼叫d異常,則b本地事務回滾,同時b服務捕捉到異常後根據b服務記錄的呼叫關係上下文,通過eos框架向c和d發起非同步補償方法呼叫,所有方法補償方法呼叫成功,則b事務狀態為cancelled,c服務補償呼叫成功後繼續向e服務發起非同步補償呼叫。同時,b向a丟擲異常,a捕捉異常後執行補償非同步呼叫,同時本地事務回滾,最終ab事務狀態為cancelled或者confirming狀態,c、d、e已提交事務執行補償方法後狀態為cancelled.最終,所有的事務狀態都會confirmed時,則事務成功,或者所有狀態都為cancelled時,回退成功,如果有節點處於confirming狀態,說明整個事務發生了不一致狀態,需要人工介入處理。
cc事務模型優點
1)沒有事務管理器的概念,每個事務節點都是對等的
2)模型簡單,**侵入少,開發者只需要在業務介面上方法上使用@cctransaction(cancel='異常時補償事務方法')標識此方法納入事務管理,同時,補償方法上加入@cctranscancel
3)非同步訊息補償機制。事務補償機制通過eos可靠訊息投遞,減少事務補償**對業務系統效能的影響
cc事務模型缺點
1)該事務模型與自研rpc框架iris繫結,不支援其它rpc框架
2)沒有try階段鎖定資源,一進入事務本地事務就已實際提交,不具備事務隔離能力,業務需要考慮如何實現cancel才能符合業務實際回滾需求。
中介軟體產品是iuap基礎平台服務(gpaas)的乙個核心能力。企業在向「互聯化」方向轉型的過程中,軟體產品的開發需求變更越來越頻繁,對技術中臺要求越來越強烈,統一的gpaas基礎能力逐漸被認可,越來越多的企業期望有乙個基礎平台去支撐企業快速增長的業務。gpaas基礎平台是iuap產品家族的一部分,提供了devops能力、容器雲能力、服務治理能力、微服務編排能力。gpaas基礎平台簡化了多種基礎設施帶來的複雜性,打通了開發運維一體化流程,提供傳統服務架構向微服務架構轉變及服務治理的最佳方**和工具集,支援微服務視覺化編排。
事務的一致性
首先,我們需要搞清楚為什麼會出現事務.這句話的大體含義就是,事務的產生,其實是為了當應用程式訪問資料庫的時候,事務能夠簡化我們的程式設計模型,不需要我們去考慮各種各樣的潛在錯誤和併發問題.可以想一下當我們使用事務時,要麼提交,要麼回滾,我們不會去考慮網路異常了,伺服器宕機了,同時更改乙個資料怎麼辦對...
強一致性 弱一致性 最終一致性
這種方式在es等分布式系統中也有體現,可以設定主shard提交即返回成功,或者需要replica shard提交成功再返回。提到分布式架構就一定繞不開 一致性 問題,而 一致性 其實又包含了資料一致性和事務一致性兩種情況,本文主要討論資料一致性 事務一致性指acid 複製是導致出現資料一致性問題的唯...
oracle事務一致性 原子性
事務的動作要麼一起成功,要麼都不成功,這是事務的原子性。原子性包括 語句級原子性 過程級原子性 事務級原子性 ddl與原子性 如果某條語句 如insert update 執行成功與否會自動控制事務。如設定插入前的觸發器。create table t2 cnt int insert into t2 v...