基因行業容器儲存解決方案

2021-10-08 16:45:52 字數 3709 閱讀 3188

簡介: 基因行業容器儲存解決方案

1、基因行業背景

1.1. 中國基因市場分析

基因組學是未來精準醫療的「基石」。70%的基因企業選擇使用雲計算來處理基因組相關業務。過去一年內,阿里雲為基因醫學影像資料提供了安全可靠的儲存,500%資料增長,增長迅猛。強大無限制的計算能力,阿里雲支撐了百萬以上的基因樣本資料分析工作。

1.png

基因行業的儲存痛點和需求分析

2.1. 基因組學資料管理相對複雜

從基因業務角度理解,基因行業的資料處理的主要需求是提公升效率,降低成本。基因場景的資料傳輸要求高速、穩定。如下圖所示,是基因業務的資料處理流程圖。

2.png

2.2. 典型的基因行業的資料儲存痛點

1、資料儲存:資料增長快,儲存費用高,管理困難;長期儲存資料可靠性難以保障;需要尋求低成本大資料量的資料壓縮方式;元資料管理混亂,資料清理困難。

2、分發共享:海量資料需要快速、安全的分發到國內多地及海外;傳統硬碟寄送方式周期長,可靠性低;多地中心資料需要共享訪問。

3、計算分析:批量樣本處理時間長,資源需求峰谷明顯,難以規劃;大規模樣本的資料探勘需要海量計算資源,本地集群難以滿足;計算工作流流程遷移困難、線上線下排程困難、跨地域管理困難;線下彈性能力差,按需計算需求。

3、阿里雲基因容器儲存解決方案

阿里雲上的基因行業的容器儲存解決方案架構如下:

3.png

阿里雲整體解決方案在基因行業的優勢:

• 生態閉環:70%的基因行業客戶都在阿里雲上,包括100%的測序工廠頭部客戶跟阿里雲有高速專線,基因資料在阿里雲上各個基因客戶之間高速流動;

• 產品成熟:k8s、ack、ags、oss、nas等產品都已經商業化多年,在基因行業客戶得到廣泛使用。對比友商,我們的產品穩定,功能豐富,價效比高;

• 行業老兵:服務基因行業多年,深入理解客戶的業務場景和痛點,針對性的解決了資料上雲、資料分析、資料交付的問題,給客戶提供端到端的解決方案;

• 全球化:借助阿里雲全球基礎設施以及跨境高速通道,幫助客戶拓展海外業務。

阿里雲檔案儲存解決方案在基因行業的優勢:

• 擴充套件能力強:集群最大規模支援近萬個節點,容量可達數十pb規模;便於基因海量資料的效能公升級和容量擴充套件。

• 效能能力強:協助客戶使用高效能檔案儲存;有力支撐基因業務增長帶來的大容量和高效能需求;大大提高海量資料快速分發和基因計算分析效率。

• 更經濟:通過阿里雲檔案儲存服務構建基因測序高效能工作負載;沒有一次性成本投入或冗長的採購週期,享受按需付費、更經濟的基礎設施資源。

• 靈活敏捷:阿里雲高效能檔案儲存服務,與ack等計算集群整合,支援集群直接掛載檔案系統;多種產品選型:通用型nas、cpfs公共雲及cpfs一體機,滿足不同基因使用者效能、成本、多雲部署需求;靈活售賣方式,資源彈性伸縮,按需購買;支援雲下和雲上整體解決架構,既提供線下固定資產輸出方案,滿足對資料儲存管理和基因業務高效能的雙重要求,也提供快速資料上雲的方案。

• 資料生命週期管理:支援資料智慧型流轉至低頻節約成本;支援整合oss,實現資料計算、分發、歸檔、交付的智慧型資料流轉;智慧型資料冷熱分層,同時滿足基因快速高效計算和海量基因資料成本優化需求。阿里雲檔案儲存解決方案使用者收益:

• 敏捷,按需使用,彈性擴充套件

• 超高效能儲存提高基因計算的高效能和效率

• 資料冷熱分層,降低成本

4、基因行業容器檔案儲存介紹

阿里雲檔案儲存nas為非結構化資料提供儲存服務。隨著雲原生的快速發展,許多公司的容器化應用程式使用nas儲存資料,有些甚至儲存pb級資料。阿里雲在雲原生布局上提供容器k8s服務(ack)、彈性容器例項(eci)、容器服務ack/ask,容器例項使用nas檔案系統作為持久化儲存。容器儲存離不開共享檔案儲存。通常,彼此共享資料的容器自然需要共享檔案儲存,長期執行的容器也可使用共享檔案儲存應對故障。阿里雲檔案儲存同時滿足容器應用場景對持久化儲存彈性伸縮、靈活掛載、高效能的需求。此外,容器映象的配置檔案或初始載入資料儲存可以在 nas 檔案儲存上實現共享,在容器批量載入時實時讀取,多 pod 間通過 nas 共享持久化資料,在 pod 故障時可以進行故障切換。阿里雲nas是容器儲存的自然選擇,因為它是一種完全託管的服務,配置簡單,新增或刪除資料時自動擴充套件,和容器基礎架構一樣靈活便捷。它還可以擴充套件到每秒數gb的吞吐量以及每秒數萬的iops。它基於 posix 檔案介面,提供 nfs / smb 協議,天然適配原生作業系統,提供共享訪問,同時保證資料一致性和鎖互斥。檔案儲存中的資料在可用區內以多副本冗餘方式儲存,避免資料的單點故障風險。

通用型nas 極速型

extreme 並行檔案系統cpfs

容量型nas

standard 效能型nas

performance

高價效比,低成本,大容量,效能線性增長,多副本 ssd儲存介質,低時延,高吞吐,效能線性增長 基於rdma網路提供穩定低時延,小檔案讀寫效能優化,多副本 基於全ssd儲存介質提供更高讀iops的並行檔案系統

效能規格:

時延:10ms毫秒級時延

iops:最大15k(4k隨機i/o讀寫)

吞吐:隨容量線性擴充套件

適用於大容量、高吞吐、對時延響應要求不高的計算性業務以及成本敏感型工作負載 效能規格:

時延:毫秒級時延

iops:最大30k(4k隨機i/o讀寫)

吞吐:隨容量線性擴充套件

適用於大容量、高吞吐、對時延響應要求高的計算型業務。適用於隨機i/o密集型以及時延敏感型工作負載。 效能規格:

時延:百微秒級時延,小檔案操作的ops效能優化

4k iops:15k-200k(隨容量擴充套件)

吞吐:150mb/s-1200mb/s (隨容量擴充套件) 效能規格:

時延:壓毫秒級時延

4k iops:每tb容量50k,隨容量線性擴充套件,最高2000k

吞吐:每tb容量提供 200mb/s基礎吞吐、500mb/s突發讀吞吐,隨容量線性擴充套件,基礎吞吐最高20gb/s、突發吞吐最高50gb/s

使用場景:檔案共享,大資料分析,資料備份 使用場景:企業應用,工業製造,**娛樂,影視渲染 使用場景:高效能**,**託管,git,容器共享儲存 使用場景:ai訓練、自動駕駛、eda**

image.png

阿里雲檔案儲存主要具備以下特性:

無縫對接容器儲存外掛程式,簡化的雲原生體驗:檔案儲存基於posix/nfs/smb檔案介面,現有應用無需任何改造,可直接從本地磁碟平滑遷移至檔案儲存。針對容器編排,檔案儲存提供了csi、flexvolume儲存外掛程式,簡化部署和使用,擁有完整的雲原生體驗。

共享持久化資料,故障靈活切換:檔案儲存具備多節點共享訪問能力,檔案儲存還可以在不同可用區(不支援跨地域)、不同vpc之間共享。多pod間通過nas共享持久化資料,在pod故障時可以進行故障切換。統一的名字空間,統一的管理方式。彈性檔案系統無需擴容縮容,0-10pb完全按量。

高效能加速,在容器批量載入時實時讀取:檔案儲存基於分布式儲存架構,具備效能水平擴充套件能力。提供不同型別、不同規格儲存產品,充分滿足各類應用的吞吐、延遲、iops和小檔案等效能需求。檔案儲存支援us時延,數十gb吞吐,加速儲存訪問,提公升應用效能,在容器批量載入時實時讀取資料,支撐有狀態應用、ai資料智慧型應用。

企業級應用特性,pod儲存安全可靠:檔案儲存支援副本、糾刪碼技術,同時通過備份、快照提供完整的資料保護和恢復機制。支援傳輸、落盤加密,確保資料不會被任何人竊取和篡改。統一命名空間支援海量pod儲存隔離和統一管理。

持久化資料生命週期管理,優化成本:檔案儲存提供按量付費模式,您只需為正在使用的儲存空間付費,不需要提前配置儲存,並且不存在最低費用或設定費用。借助檔案儲存的共享能力可以節約大量的冗餘資料拷貝和同步費用。資料生命週期管理,支援冷熱分層,自動歸檔冷資料,降低成本90%。

PCBA行業解決方案

pcba行業解決方案 行業背景 中國已經成為 pcba 產業大國,但目前面臨著市場競爭激烈,產品的附加價值相對不高為謀求市場上的市占率,不斷擠壓利潤,再加之代工大廠的削價競爭,以致使組裝產業的毛利率已經被壓低至 10 以下。生產具有集中化的趨勢,世界著名主要廠家,如 compaq ibm,racke...

遊戲行業解決方案

遊戲行業發展前景廣闊,面臨激烈的市場競爭,如何為玩家提供乙個更高品質 更高可玩的遊戲環境是遊戲公司面臨的頭等問題。南方聯合的大頻寬 多線路 自主研發的安全系統和24小時的運維支撐。為遊戲客戶提供全方位保障。區塊鏈金融 電商遊戲 物流傳統 教育cdn 醫療當前遊戲行業競爭激烈,大致分為三類,即為頁遊 ...

TODA MES電池行業解決方案

toda mes電池行業解決方案 行業背景 隨著電子產品 資訊和通訊產品的普及,電池行業也得到高速的發展,我國目前是全球最大的電池生產國和最大的電池消耗國。但我國電池行業還存在許多問題 產品更新換代不及時,生產自動化 機械化程度不高,成本高 汙染大。與國際上蓬勃發展的光伏發電相比,我國落後於發達國家...