新視界 也許這才是大規模分發容器映象的正確姿勢

2021-09-19 09:37:10 字數 1924 閱讀 1848

隨著docker技術的日漸火熱,一些容器相關的問題也浮出水面。本文就容器數量激增後造成的分發效率低下問題進行了**,並提出了一種新的解決方法。發現問題,解決問題,正是it技術不斷進步的真諦,小數深以為然。

容器技術令應用程式的配置與部署工作效率極大提高,但在不同it運維領域的具體提公升效果卻又不盡相同。舉例來說,其在利用資料中心儲存與網路容量進行容器映象的大規模分發時往往表現得比較不盡如人意。

像twitter這樣的企業無疑執行有大量容器系統,自然也經歷過上述困擾。這種狀況會隨著更多企業採用容器技術而變得愈發普遍,並導致大型容器庫的規模不斷向外擴充套件。

我們認為解決容器臃腫難題的可行方案之一正是名為cernvm檔案系統(簡稱cernvm-fs)的技術成果。其由cern(歐洲核子研究中心)開發而成,同時囊括了來自世界各地的高能物理學領域、特別是費公尺實驗室的辛勤貢獻。

cernvm-fs的基本構想誕生於2023年,當時cern的研究人員與現在的人們一樣因為底層硬體虛擬化的需求而開始審視容器技術,即尋求新的應用程式部署機制。相較於建立映象或者軟體包,他們想到使用一套全域性分布式檔案系統幫助科學家們將自己的軟體一次性安裝在一台web伺服器上,而後立足世界任意位置對其進行訪問。

第三項原則在於,軟體只能夠在發布點處進行修改——其他一切客戶都只能在高可用性水平下實現唯讀操作。多數此前存在的檔案系統在設計中都無法處理cap定理提到的權衡難題,因為這類系統會假定客戶的目標始終是讀取最新的可用資料版本。在這種情況下,軟體必須在應用或者容器執行的同時保持即時性,這意味著執行過程中該檔案系統必須交付單一快照。

有鑑於此,cern決定使用內容可定址儲存與梅克爾樹狀結構。與git類似,各檔案會在內部根據其(惟一的)加密內容雜湊進行命名。存在於不同目錄內的同一檔案的多套副本(例如不同ubuntu映象當中的「ls」實體)會被合併為單一檔案。sqlite檔案目錄取決於其中檔案的內容雜湊值。如此一來,其root雜湊值(乙個160位整數)將最終確定整套檔案系統快照。要關閉信任鏈,系統會提供乙個經過加密的root雜湊值,每個客戶端則對接收到的資料的每一位進行驗證,從而確保其來自預期**且未被篡改。

如今,cernvm-fs負責為分布在全球各地的約十萬台計算機交付來自大型強子對撞機實驗軟體的數百萬個檔案與目錄。

mesos通過所謂「容器化器(containerizer)」利用多種實現手段提供任務容器化能力。容器化器負責對執行當中的各個任務加以隔離,同時限定各個任務可以使用的資源量(例如cpu、記憶體、磁碟以及網路)。mesos容器化器的作用可以通過所謂「隔離器(isolator)」輕鬆得到擴充套件,後者可被視為一種執行特定任務的外掛程式(舉例來說,在容器當中啟動外部分卷)。

最後但同樣重要的是,容器化器還能夠為任務提供一套執行時環境。它允許使用者將全部關聯性同任務本體一道預打包至檔案系統映象當中。這套映象隨後可進行任意分發,並被用於啟動該項任務。

mesos目前已經擁有多種型別的容器化器。其預設選項為mesos容器化器——這款工具採用linux命名空間與cgropus以實現任務隔離同資源使用量控制,同時配合一整套隔離器實現外部功能交付。另外還有一套docker容器化器,其利用docker工具以提取映象並啟動docker容器。

如此一來,我們就能夠立足於同一cernvm-fs庫實現多種容器映象的發布。從本質上講,cernvm-fs庫的作用等同於一套安全且可擴充套件的容器映象登錄檔。

我們還計畫新增對該配置器的支援以利用對應的檢驗機制啟動任意cernvm-fs目錄。這將幫助開發人員更為輕鬆地在處理容器映象時實現快速迭代,並使得運維人員便捷地在不同容器映象版本間來回切換。

cern與mesosphere的技術團隊對於將cernvm-fs與apache mesos整合充滿期待,這也意味著it行業將更為廣泛地採納應用程式容器技術。如果各企業與機構希望從根本層面改善應用程式構建、**部署以及資料中心執行的實現方式,則必須要立足於高於當前實際規模的水平上進行容器的啟動、關閉、更新以及管理。cernvm-fs與mesos之間的緊密整合將能夠成為一種可行途徑,幫助各類使用者解決容器採納道路上的儲存容量及網路頻寬瓶頸。

連平縣新視界

市委常委 副市長 深圳對口幫扶河源指揮部總指揮 市高新區黨工委書記王衛一行,在縣長林文泉 縣委常委 南山區對口幫扶連平縣前方指揮部總指揮屈凱 副縣長謝金鳳的陪同下,先後到油溪鎮金龍村和富樂村 忠信鎮柘陂村 忠信溫氏公司 豐華生態源等地,通過實地檢視 座談等形式,詳細了解連平精準扶貧精準脫貧 基層黨建...

可變形卷積網路 計算機新「視」界

如同視覺是人們獲取資訊的主要渠道一樣,計算機視覺也是人工智慧研究領域的核心問題之一,已有幾十年的研究歷史。顧名思義,計算機視覺是研究如何讓電腦 看懂 影象,例如,對影象中的物體進行識別 分割 跟蹤和三維幾何測量等。由於同樣的物體在影象中可能呈現出不同的大小 姿態 視角變化甚至非剛體形變,因此如何適應...

可變形卷積網路 計算機新「視」界

如同視覺是人們獲取資訊的主要渠道一樣,計算機視覺也是人工智慧研究領域的核心問題之一,已有幾十年的研究歷史。顧名思義,計算機視覺是研究如何讓電腦 看懂 影象,例如,對影象中的物體進行識別 分割 跟蹤和三維幾何測量等。由於同樣的物體在影象中可能呈現出不同的大小 姿態 視角變化甚至非剛體形變,因此如何適應...