巨杉資料庫目前已經在超過50家大型商業銀行核心業務上線使用，本文為銀行金融科技轉型應用系列文章第一篇，此後巨杉還將陸續推出銀行業應用和科技創新文章，大家敬請期待。
隨著銀行業務的拓展以及網點業務的需求量加大，在新一輪技術浪潮驅動下，各大商業銀行也在紛紛推進智慧型網點的建設。其中，商業銀行的櫃面無紙化就是最先推進的業務之一。
包括廣發銀行、民生銀行在內的大型商業銀行，已經於近幾年陸續上線櫃面無紙化業務，並開始在全國網點進行推廣使用。今後，隨著櫃面無紙化、「一站式」綜合店員、人工智慧等系統的陸續應用，各大商業銀行也將全面實現網點智慧型化轉型建設。
大型商業銀行，平均有超過300~400個業務系統，每乙個業務系統既有完整技術棧，又和不同的業務之間存在許多的相互依賴和相關的關係，業務和技術複雜度遠超其他行業。此外，銀行對於平台可靠性要求最為嚴苛，核心資料需保證0丟失、0錯誤率，核心業務系統也有「5個9」以上的穩定性要求。這些要求給後台資料庫帶來了極大的要求，因此業界也戲稱銀行是企業級資料庫的「試金石」。
「無紙化」業務作為商業銀行的新一代應用業務，對於資料管理帶來了新的挑戰。針對銀行在新一代櫃面無紙化業務上的痛點需求，巨杉資料庫在保證穩定安全的基礎上，利用其所支援的非結構化儲存、結構化事務、可彈性擴張、高可用、以及多資料中心災備等能力，全面支援廣發、民生銀行的櫃面無紙化業務，為業務帶來巨大提公升。
巨杉資料庫分布式雙活部署整體示意圖
巨杉資料庫為底層資料引擎的分布式非結構化資料管理平台，已經在包括民生銀行、廣發銀行在內的超過50家大型銀行業務應用。在某大型股份制商業銀行業務系統中，巨杉資料庫總集群部署節點數達到122臺物理伺服器，部署邏輯節點1530個，平台服務銀行網點數超過840個 ，效能響應在毫秒級別，資料實現了同城資料中心災備和雙活。
1）非結構化資料儲存
作為一款分布式的交易型資料庫，sequoiadb資料庫提供了同時儲存結構和和非結構化引擎的機制，非結構化資料的儲存在引擎中主要是以 lob形式來實現的。sequoiadb 3.0在物件儲存api的基礎之上提供了標準posix檔案系統介面，能夠原生接入任何支援posix協議標準的作業系統，使用者對應用程式無需任何改造即可從nas遷移至sequoiadb。
在巨杉資料庫中，lob大物件儲存引擎可將各種尺寸的非結構化檔案切分成小儲存塊，按雜湊對映存放於集群的多個資料組，實現檔案的高效併發訪問，對外提供物件標識進行檔案訪問。
在巨杉資料庫中，lob儲存結構分為元資料檔案（lobm）與資料檔案（lobd）。其中，元資料檔案儲存整個lob資料檔案的元資料模型，包括每個頁的空閒狀況、雜湊桶、以及資料對映表等一系列資料結構。而資料檔案則儲存使用者真實資料，資料頭之後所有資料頁按照page size進行切分，每個資料頁不包含任何元資料資訊。
與結構化資料的記錄引擎完全不同，巨杉資料庫的非結構化儲存提供了原生的物件檔案塊儲存機制，同時適用於影像類大檔案與票據類小檔案。在巨杉資料庫對小檔案儲存與檢索的過程當中，每個資料塊均使用雜湊演算法判斷其所處的物理位置，因此不會進行任何物理查表操作，資料庫也不需要維護每個物件檔案的物理位置表，因此不論從安全性、吞吐量、以及響應速度都遠遠高於其他同類物件儲存。
2）多活與災備
巨杉資料庫的原生分布式架構，一方面提供了引擎級別的內部資料多副本和高可用以及基於raft演算法的資料一致性的保證。同時，在跨資料中心層面，可以做到分布式集群為單位的容災和多活機制，在滿足資料安全要求下減少了資料安全方面的部署和運維難度。
從多活架構的角度看，巨杉資料庫都秉承著計算儲存分離的設計思路，因此其sql解析與執行器往往與資料儲存和事務控制分別執行在不同的程序中。在這種情況下，利用資料庫自身分布式與三副本複製的特性，將資料打散放置在多個資料中心內，每個資料中心配置本地sql服務節點，從應用程式的角度看不需要關注底層資料庫的主從架構，僅需要通過jdbc連線到本地的sql服務節點進行讀寫操作即可。在這種架構下，每個sql節點完全對等，並均可以處理讀寫操作。所有的事務控制、一致性控制、鎖等待等機制都由底層的分布式資料庫直接提供。
以兩地三中心為例，在該架構中，城市a機房1作為主機房，提供與同城的機房2之間的同步資料複製。而對於城市b的機房來說，在頻寬足夠的情況下可以選擇使用同步機制與城市a的機房進行資料複製。而在頻寬不足時則可以選擇非同步的複製方式。
同時，巨杉也支援異地災備機房的定期追加更新。使用者可以通過定義異地災備機房的同步策略，使災備機房定期進行日誌檔案的同步，以做到災備機房與主機房的資料擁有一定的時間差異，避免手工誤操作。
3）高效能實時效能響應
通過分布式架構，多維資料分割槽，高效能索引，以及資料壓縮等機制，影像平台無論非結構化資料還是結構化資料在大資料量下依舊保持效能的平滑擴充套件，實時響應。在效能測試對比中，對比巨杉資料庫，傳統nas方案想要達到同樣吞吐量至少需要3倍以上的磁碟數量。
以下是巨杉資料庫在實際測試環境中，對於非結構化資料管理這塊的測試資料：
吞吐量（mb/秒）
50kb
200kb
1mb10mb
整個集群（6節點）
353.3
1232.8
2223.3
2077.5
平均單物理節點
58.9
205.5
370.5
346.3
資料寫入平均時延（ms）
1416
44466
吞吐量（mb/秒）
50kb
200kb
1mb10mb
整個集群（6節點）
352.9
1225.1
2410.9
2653.3
平均單物理節點
58.8
204.2
401.8
442.2
資料寫入平均時延（ms）
1416
41369
吞吐量（mb/秒）
50kb
200kb
1mb10mb
整個集群（6節點）
363.7
1266.0
1872.8
2323.8
平均單物理節點
60.6
211.0
312.1
387.3
資料寫入平均時延（ms）
寫：14
讀：16
寫：14
讀：15
寫：35
讀：106
寫：293
讀：749
民生銀行
民生銀行是中國第一家主要由民營企業發起設立的全國性股份制商業銀行
，截至2023年末，中國民生銀行已經成為資產總額59,020.86億元，一級資本淨額超過3800億元、資產總額超過5.9萬億元、分支機構近3000家、員工近5.8萬人的大型商業銀行。在英國《銀行家》雜誌2023年7月發布的全球1000家大銀行排名中，中國民生銀行位居第29位。民生銀行堅持「民營企業的銀行、科技金融的銀行、綜合服務的銀行」的戰略定位，銳意變革創新，加速戰略轉型，致力於成為一家特色鮮明、價值成長、持續創新的標桿性銀行。
(摘自民生銀行官網)
廣發銀行
廣發銀行是國內首批組建的股份制商業銀行之一。目前在全國設立了43家一級分行、843家營業機構，並與全球125個國家和地區的1,718家銀行總部及其分支機構建立了**行關係，為超過30萬對公客戶、3,422萬個人客戶、5,711萬張信用卡客戶、2,427萬移動金融客戶提供優質、全面的金融服務。廣發銀行在移動金融創新領域一直走在行業前列，強力推動智慧型化銀行發展，持續推動移動金融創新，在公升級普惠金融、助力實體經濟等方面取得了豐富成果。
（摘自廣發銀行官網）
關於巨杉資料庫
目前，巨杉資料庫已經在目前，巨杉資料庫付費企業級客戶與社群使用者總數超過1000家，並已在超過50家500強級別的銀行、保險、**等大型金融機構生產業務上線。
對於非結構化資料管理，巨杉資料庫在金融行業的應用場景包括：金融行業新一代影像平台、內容管理雲平台、傳統ecm替換、計算機視覺與人工智慧、金融雙錄系統以及電子證照等數十個個業務場景。
巨杉資料庫助力民生銀行 恆豐銀行雲化架構公升級
作為一款金融級分布式關係型資料庫，sequoiadb巨杉資料庫的分布式資料庫架構和面向微服務的雲化產品形態，已經幫助包括民生銀行 恆豐銀行在內的多家大型金融客戶實現了大量業務系統的底層資料庫雲化轉型公升級。如今，大型企業的應用平台正在向微服務架構進行轉型。在微服務架構下，應用程式和資料庫等底層平台的...
Python銀行資料分析之 民生銀行資料轉換
python銀行資料分析之 民生銀行資料轉換 民生銀行資料轉換 def cmbcbankprocessdo t,companyname,accountingtitle,begin t t 4 倒序輸出 t.reverse 主體公司 會計科目 companyname,accountingtitle,b...
SequoiaDB巨杉資料庫C API
此部分是 c api 相關文件。注意 version 2.10 新增收集資料統計資訊介面 新增修改介面 version 1.10 新增獲取查詢訪問計畫的介面 新增用於大物件 lob 操作的介面 version 1.8 新新增介面 version 1.6 使用 sdbnodehandle 來取代原來的...