雲原生時代,誰是容器的最終歸宿?

2021-10-08 16:45:52 字數 3271 閱讀 6280

簡介: 雲原生容器,離不開阿里雲檔案儲存。所有應用程式都在云原生化,儲存也是。容器是雲原生時代的基礎設施,什麼是容器的基礎設施。

前言「雲原生技術有利於各組織在公有雲、私有雲和混合雲等新型動態環境中,構建和執行可彈性擴充套件的應用。雲原生的代表技術包括容器、服務網格、微服務、不可變基礎設施和宣告式 api。這些技術能夠構建容錯性好、易於管理和便於觀察的松耦合系統。結合可靠的自動化手段,雲原生技術使工程師能夠輕鬆地對系統作出頻繁和可**的重大變更。」來自cncf。

k8s對網路,儲存,計算進行了編排,已經成為了雲原生的作業系統,給使用者展現了乙個新的介面,極大的簡化了使用者的運維,提公升了資源的彈性,真正的做到了按需使用,降低了使用者的成本。雲原生快速被企業和開發者接受。forrester **到2023年, 全球組織/公司在生成環境執行容器化應用,從今天不足30%的比例將大幅度提公升到超過75%,企業應用容器化的趨勢勢不可擋。

1.png

2.png

容器在生產環境的應用的比例快速**,從2023年首次調查的23%,到2023年**到73%,實際到2023年已經**到84%

3.png

雲原生應用正在引領各個應用領域實現云原生化,同時也在深刻改變著應用服務的方方面面。儲存作為應用執行的基石,也在服務云原生化過程中提出了更多的需求。雲原生儲存為了滿足雲原生特性的要求,可用性、穩定性、擴充套件性、效能等核心能力都有大幅的優化。

作為國內最大的雲產商,阿里雲提供了豐富的雲原生服務。和網路,計算的編排不同的是,儲存需要考慮如何無縫的接入到k8s中進行編排和排程。k8s推出了csi,通過統一的標準將儲存和k8s進行了無縫的對接。本文討論雲原生容器對儲存的挑戰,面向雲原生和容器等領域的發展,阿里雲檔案儲存不斷進行雲原生適配和演進,完美應對雲原生儲存挑戰,阿里雲nas是容器儲存的自然選擇。

雲原生帶來的儲存挑戰

新型工作負載容器化、遷雲在儲存方面遇到的效能、彈性、高可用、安全及生命週期等方面的問題,不但需要儲存產品層次的改進,還需要在雲原生的控制和資料層次的改進,推進雲原生儲存的技術演進。

1、儲存效能挑戰:雲原生應用在大資料分析、ai 等場景得到廣泛應用,這些場景對儲存吞吐和iops的需求也非常高。在容器集群集中處理海量資料,同時啟動數千pod,彈出海量pod對共享檔案系統進行讀寫的場景下,重負載導致時延增加,高延遲毛刺增多,讀寫穩定性不足,同時雲原生應用的快速擴容、極致伸縮等特性也會考驗儲存服務在短時間內迎接峰值流量的能力。

阿里雲檔案儲存如何來應對這些挑戰

針對以上在新的計算模式下,儲存方面遇到的效能,彈性,高可用,安全,生命週期等方面的問題,不但是需要儲存產品層次的改進,在雲原生的控制和資料層次的改進,更需要在雲原生應用層、儲存雲產品層、底層儲存適配和儲存核心層都需要做相應的改進和提公升才有可能提供更加穩定,安全和高效的面向應用的雲原生儲存。

隨著雲原生技術的發展,各個公有雲廠商都開始對其雲服務進行云原生化改造或適配,提供更加敏捷、高效的服務來適應雲原生應用的需求。阿里雲儲存服務也在雲原生應用適配做了很多優化,阿里雲檔案儲存支援 csi 、flexvolume儲存驅動無縫的銜接了雲原生應用和儲存服務之間的資料介面。實現了使用者使用儲存資源時對底層儲存無感知,而專注於自己的業務開發。

阿里雲檔案儲存為雲原生提供了乙個完全彈性和共享的檔案系統,按需使用,滿足雲原生極致的彈性。阿里雲檔案儲存從效能,彈性,高可用,安全,生命週期管理等方面對雲原生儲存進行了打造和演進。

1、效能方面,ai,大資料分析,高效能計算領域,阿里雲檔案系統分散工作負載多檔案系統和多個儲存集群、多個可用區通過容器編排分散io到多檔案系統。支援客戶端本地唯讀快取技術、分布式儲存,降低網路延遲和io、gpu等待時間。可以支援剛**付數十gb吞吐的能力,提公升算力。

2、彈性方面,阿里雲檔案儲存支援自由擴縮容,按量付費,是完全託管的檔案系統。極速型nas提供了百us的延時,在金融,網際網路等典型的突發彈性場景中,能夠在幾分鐘內啟動數千個容器,並完成資料的極速載入、解除安裝。

3、高可用方面,阿里雲檔案儲存支援容器快速failover,同時支援儲存快照、備份等企業級特性。

4、在安全方面,阿里雲檔案儲存支援全面的ad/acl許可權管理,支援配額,打造了統一命名空間,支援對海量pod間的io進行隔離和統一管理;檔案儲存產品支援傳輸加密、落盤加密等功能。

5、面對海量資料,阿里雲檔案儲存提供了資料生命週期管理,自動歸檔冷資料,可以降低90%的使用者成本。

為什麼選擇阿里雲檔案儲存作為容器儲存?

阿里雲檔案儲存nas為非結構化資料提供儲存服務。隨著雲原生的快速發展,許多公司的容器化應用程式使用nas儲存資料,有些甚至儲存pb級資料。阿里雲在雲原生布局上提供容器k8s服務(ack)和彈性容器例項(eci),容器例項使用nas檔案系統作為持久化儲存。容器儲存離不開共享檔案儲存。

阿里雲檔案儲存是雲原生、高可用、成本優化的完全託管的檔案系統。阿里雲檔案儲存有三款產品,通用型nas,極速型nas和並行檔案系統cpfs。

4.png

阿里雲nas是容器儲存的自然選擇,因為它是一種完全託管的服務,配置簡單,新增或刪除資料時自動擴充套件,和容器基礎架構一樣靈活便捷。

通常,彼此共享資料的容器自然需要共享檔案儲存,長期執行的容器也可使用共享檔案儲存應對故障。阿里雲檔案儲存同時滿足容器應用場景對持久化儲存彈性伸縮、靈活掛載、高效能的需求。此外,容器映象的配置檔案或初始載入資料儲存可以在 nas 檔案儲存上實現共享,在容器批量載入時實時讀取,多 pod 間通過 nas 共享持久化資料,在 pod 故障時可以進行故障切換。

6.png

7.png

隨著新技術的發展,機器學習ai和基因處理等大量使用共享檔案儲存。我們通常看到如下一些示例:

•web服務:wordpress之類的內容管理應用程式受益於擴充套件到多個例項以實現效能和冗餘,並且需要在多個例項之間共享上載、外掛程式和模板。

•軟體開發工具:jira和git之類的開發人員工具需要在例項之間共享資料以實現高可用性,而**則保留在多個阿里雲可用區中以實現永續性。

•大資料分析和處理:諸如基因資料處理、tensorflow機器學習框架需要通過檔案系統介面訪問資料,並且具有持久的共享儲存,可以使多個使用者和作業在同一組資料上並行執行。

•企業應用程式:共享notebook(如jupyter jupyterhub)需要為notebook和user workplace提供持久儲存,擁有共享儲存可以使資料科學家輕鬆協作。

總結以容器和雲原生計算被企業快速接納,kubernetes 逐漸成為雲原生時代的基礎設施,容器服務成為雲原生時代基礎設施。新的工作負載推進雲原生儲存和雲儲存的演進,雲原生控制平面實現效率方面能力,從資料面提公升儲存穩定和減小安全隱患,雲儲存繼續夯實效能,容量,彈性,密度等基礎能力,共建雲原生環境下的儲存生態。

阿里雲檔案儲存是容器儲存的自然選擇,完美應對雲原生儲存在效能,彈性,高可用,安全,生命週期等方面的資料挑戰。阿里雲基於雲原生檔案儲存技術的快速演進將不斷賦能雲原生和容器領域的快速發展。

婚姻就應該是愛情的最終歸宿

昨晚趙叔請我去參加晚宴,我到達現場看到送花的小女孩送來一大扎鮮花,我問趙叔的女兒苑媛 今天是什麼大好日子?苑媛告訴我,今天是你趙叔與麗姨結婚30年紀念日。我打心底裡尊敬與羨慕這對一起走過30年風雨的長輩!每次和他們在一起,從生活的許多細節我看到了他們那種濃濃的關愛。趙叔與麗姨90年代初放棄在北方很好...

網路系統工程師的最終歸宿(一)創業還是打工

網路系統工程師的最終歸宿 一 創業還是打工 很久沒有博文的貢獻了,由於公司事情繁忙和家裡的頻繁狀況使我對 51的博文貢獻減少了很多。但是我始終牽掛著每日關注 51 關注我博文的朋友。這裡我先向大家表示歉意,並獻出乙份我近期的心得,創業還是打工?創業還是繼續打工?兩方面是否都可以到達富甲天下,身價顯赫...

網路系統工程師的最終歸宿(一)創業還是打工

網路系統工程師的最終歸宿 一 創業還是打工 很久沒有博文的貢獻了,由於公司事情繁忙和家裡的頻繁狀況使我對 51的博文貢獻減少了很多。但是我始終牽掛著每日關注 51 關注我博文的朋友。這裡我先向大家表示歉意,並獻出乙份我近期的心得,創業還是打工?創業還是繼續打工?兩方面是否都可以到達富甲天下,身價顯赫...