大資料將改變資訊生命週期管理

2021-09-04 17:13:39 字數 1828 閱讀 7281

時至今日,雖然資訊生命週期管理(ilm)這個概念不再被常常提及,但是ilm的理念已經深入人心,成了指導企業使用者實施資料分層儲存及管理的核心原則。昆騰公司全球大資料業務高階副總裁janae lee表示:「大資料的出現將促使人們重新審視ilm,其中最值得注意的是歸檔的方法和介質可能會有很大變化。」

歸檔到磁碟

傳統上,人們習慣用磁碟做備份,用磁帶做歸檔。隨著資料量的不斷增加,人們需要更快速地處理、歸檔資料,而且要保證歸檔資料隨時可查。雖然從成本的角度考慮,磁帶仍然是最經濟的歸檔介質,而且磁帶可以實現離線的資料保護,這有利於資料的異地儲存和安全性,但是效能始終是磁帶最大的掣肘。janae lee舉例說:「在美國,我們的乙個客戶為了提高系統的整體處理效能,在一級儲存中使用了固態硬碟(ssd),之後不經過任何中間環節,就將資料直接歸檔到磁碟系統中。」一些網際網路企業和遊戲客戶可能會對這種高效能磁碟歸檔方案感興趣。

從技術的角度看,將磁碟用於歸檔是否可行呢?當磁碟上的資料越聚越多時,即使有raid等技術作為保護,磁碟還是會容易出現故障。退一步說,就算raid技術能夠起到保護作用,raid進行資料重構時,也要花費一定時間,當資料達到pb量級時,這種重構所花費的時間可能是使用者難以忍受的。由此可見,將磁碟用於備份,乙個前提是必須提公升磁碟的效率、安全性,同時降低其整體擁有成本。為此,昆騰將一種原先用於通訊領域的技術引入到磁碟歸檔方案中,推出了基於wide area storage(was)技術的磁碟備份方案。與raid磁碟相比,was的安全性大大提高,效率提高50%~70%,整體擁有成本降低50%~70%。janae lee介紹說:「我們的磁碟歸檔方案基於nas介面,可與stornext軟體配合使用,非常適合雲歸檔應用。磁碟歸檔方案將於2023年初面世。」

磁帶是資料保護的最後一道防線。janae lee表示:「磁碟歸檔方案與磁帶歸檔方案之間不是替代的關係,而是互補的關係。磁帶歸檔市場仍在不斷擴大。對於那些辦公場所位置分散,又希望快速訪問資料的使用者來說,was是比較理想的選擇。」

磁帶不受影響

在大資料時代,磁帶的重要性會進一步被削弱嗎?昆騰公司大中華區總經理張金華介紹說:「從2023年昆騰在中國的銷售業績看,以dxi系列產品為代表的磁碟業務始終保持高速增長的態勢,每個季度的增長率都能達到兩位數,而磁帶業務則與2023年持平。」雖然昆騰的業務重點已經轉向資料保護整體解決方案和大資料,磁帶不再是業務核心,但是昆騰並沒有放棄磁帶業務,對於磁帶的研發投入也沒有減少。

「我們為磁帶庫產品增加了一些新的功能,比如edlm自動磁帶內容檢查功能、雙機械臂、active vault等。這些新功能的加入,可以讓磁帶庫與stornext軟體更好地配合使用。」janae lee舉例說,「在廣電領域,10%的資料儲存在磁碟上,90%的資料儲存在磁帶上。使用者還要經常調取磁帶上的資料。stornext 4.3版本增加了一項新功能,在將資料寫入磁碟的同時,也會寫入磁帶。這種技術非常適合電視台節目上傳的應用。」

軟硬體都重要

在昆騰的大資料解決方案中,stornext扮演了極其重要的角色。以前,stornext都是以軟體的方式提供給客戶的。但是有客戶反映,stornext的部署和調優比較複雜。為此,從2023年開始,昆騰開始提供基於stornext的軟硬體一體化解決方案。

在大資料市場上,一體化的解決方案已經成了一種新的發展趨勢。janae lee表示:「如果客戶的it環境比較複雜,而客戶本身又擁有一定的技術能力,那麼這樣的客戶就適合採用stornext軟體。如果使用者希望加快系統的部署速度,簡化管理,那麼就可以選擇stornext軟硬體一體化的解決方案。比如,一些生命科學領域的客戶,他們希望快速得到資料分析的結果,而不希望在資料儲存和備份系統的構建上浪費過多的精力。這些客戶就非常適合採用軟硬體一體化的方案。」

janae lee表示:「昆騰的軟體與一體化方案之間是相輔相成、共同發展的關係。比如,昆騰stornext閘道器產品中新增的集中監控功能也會融入到stornext軟體中。」

volume 生命週期管理

data volume 中存放的是重要的應用資料,如何管理 volume 對應用至關重要。前面我們主要關注的是 volume 的建立 共享和使用,本節將討論如何備份 恢復 遷移和銷毀 volume。備份因為 volume 實際上是 host 檔案系統中的目錄和檔案,所以 volume 的備份實際上是...

elasticsearch生命週期管理

使用索引生命週期管理實現熱溫冷架構 官方文件 elasticsearch 集群從 3 節點擴容到溫熱架構的搭建攻略 1 當索引達到約定大小 索引文件數量達到約定數量,自動建立新的索引 2 安裝指定週期 1 天,1 周,1 個月 建立索引,將之前的索引存檔 3 強制刪除過期的索引,以達到保留一定日期範...

AIX支援生命週期資訊

列出aix技術級別 tl 發行日期和服務包支援終止 eosps 日期。aix 7.2 service pack支援 釋放 發布日期 結束服務包支援 eosps aix 7.2 tl4 2019年十一月 2022年11月30日 估計 aix 7.2 tl3 2018年9月 2021年9月30日 估計 ...