企業如何面對資料儲存危機

2021-09-22 21:50:03 字數 3041 閱讀 2004

industry outlook是乙個介紹有關資料中心和it的市場趨勢,技術和其他問題的專家觀點的資料中心行業**。

industry outlook日前與peter godman**了資料的**式增長以及企業如何管理資料等令人關注的問題。peter godman是通用級檔案儲存**商qumulo公司的共同創始人和首席技術官,主要工作是指導產品開發和管理,在分布式檔案系統和高效能分布式系統方面具有豐富的專業知識。

io:目前企業在資料方面面臨的最大挑戰是什麼?

pg:資料正在**式增長,每兩年翻一番。其中的大部分資料中心都是在傳統儲存系統進行儲存的。要部署具有突破性創新的關鍵任務工作流,資料密集型組織必須隨時隨地利用和挖掘其資料的價值。他們需要在任何操作環境(pb級和全球範圍內)自由儲存,管理和訪問基於檔案的資料。

io:過去10年來出現了哪些重大變化和進步,促成了這種情況?

pg:企業的全球運營模式已經形成了新的規模需求,包括儲存的檔案數量,實時管理大量資料足跡的能力,全球資料分布以及利用雲計算的需求。因此,企業正在尋找能夠幫助他們在資料中心和雲計算之間移動和共享基於檔案的工作負載的技術。智慧型的檔案儲存系統是為了滿足現代企業的需求而設計的,它既能在本地部署的資料中和雲端中擴充套件效能和容量,又無硬體限制。

io:資料危機對哪些行業影響最大,為什麼?

pg:資料密集型行業離不開技術創新。而**、娛樂、科學計算、電信、生命科學和醫學研究,以及汽車等行業受到的影響最大,因為它們的分布式資料集儲存應用在在全球分布的各個地點,並具有數以億計的文件的龐大規模。

同樣,科學計算和影象生成大量的檔案資料。無論是研究人員涉及三維醫學成像,電子顯微鏡還是自然現象模型,他們都在使用越來越複雜的模擬和解析度越來越高的影象來實現其突破,但這需要處理數十億個檔案,同時保持高效能,並深入了解比以往任何時候都更重要的資料。

io:資料呈指數級的增長速度是不可持續的,最終會阻礙資料儲存的增長。有沒有看到任何可以滿足這樣的成本,技術限制,物理空間需求的技術或產品?預計這個巨大的增長會持續多久?

pg:至少在未來的10到15年間,儲存容量將會每兩年翻一番。華盛頓大學的專家luisceze及其同事一直致力於密度和壽命都很高的dna資料編碼。人們將要開始面臨的乙個重大挑戰是,相對於容量而言,交付的可用性數量正在迅速減少。十五年前,hdd提供了1,000iops/tb的儲存吞吐速度。如今數字更像是1012iops/tb。十年後,人們將面臨大量的資料,但能夠積極處理的資料越來越少。

儲存級儲存器的密度必須至少每四年翻一番,以彌補摩爾定律,這就是說,晶圓廠的成本每四年增加一倍!這樣做似乎很容易。隨著切換到3d堆疊技術,有機會在晶元上堆疊得更高,並減少恢復過程。也就是說,按照人們正在進行的速度,半導體晶圓廠在10年內的市值將高達1000億美元,其數量將來越來越少。

決定刪除哪些資料是乙個謹慎的過程,而錯誤刪除是令人痛苦的。密度的增加使得儲存所有東西變得容易,只要儲存變得更密集,人們就會不斷填充。

io:儲存行業在幫助企業提供儲存技術和應用的過程中扮演什麼角色?正在進行哪些創新?

pg:要以pb級擴充套件本地和公共雲儲存,人們需要乙個全新的企業級儲存級別,允許企業建立單一的全域性資料足跡。這種新型的企業儲存將被傳統的資料儲存到安全的地方。

io:雲計算將扮演什麼角色?

pg:雲計算為現代資料驅動型企業提供了幾個核心優勢。它提供了敏捷性:配置和釋放資源,並且用時越來越短。它可以根據需要訪問tpu,gpu和其他計算資源。最後,它提供了彈性,允許資料驅動的企業在短時間內使用大量的計算。

io:你能描述一下雲端的資料量與內部部署的資料量嗎?有沒有預見會遇到某種限制?

pg:這很大程度上取決於如何定義雲計算。如果企業採用的是iaas+paas+saas,則大部分資料可能已經存在於雲中。儘管如此,資料的增長仍然是在邊緣,雲計算資料生存的自然限制是光速。專家peterlevine最近做了乙個名為「回到邊緣和雲計算的終結」的演講,**了這個問題。世界上的大部分資料需要與納秒或微秒的決定區分。雲計算離大多數決策還很遙遠。在一段時間內,人們將處於乙個主權,成本,延遲和安全緊張的地方。除此之外,人們可以在雲中儲存多少資料沒有實際的限制。

io:隨著企業越來越依賴雲端進行資料儲存,資料所有權和隱私權將會得到多大的關注?這樣的問題對轉型的影響很大?還是只是乙個轉折的過程?

pg:資料主權法對公共雲使用者來說是乙個巨大的挑戰,也是公共雲的乙個很好的機會。能夠通過標準api輕鬆移動資料以符合法律或審計訪問,其許可權是強大的。例如,雖然數以萬計的it專業人員可能仍需要學習資料主權法律,儘管雲計算可能會無意中違反這些法律,但雲計算也會遵從乙個api。總之,雲計算應該通過對許多it團隊的努力進行重複刪除而使資料主權和所有權更加容易。

io:您是否有資料或如何估計資料儲存成本,特別是長期和短期趨勢是什麼?

pg:如今的乙個10tb機械硬碟售價大概是360美元,也就是36美元/tb。如果購買1.6tbssd硬碟,則是850美元左右,或850美元/tb。現在同等容量的情況下,快閃儲存器仍然比硬碟貴10倍(假設人們可以在快閃儲存器上進行壓縮和重複資料刪除,但是出於某種未說明的原因而不是在硬碟上)。15tb的lto7磁帶的**可能不到100美元,或者說6美元/tb。所以磁帶是hdd硬碟成本的六分之一,是nand快閃儲存器成本的十分之一。hdd硬碟和nand快閃儲存器容量之間的差距目前有所增加。

幾年前,處在快閃儲存器和磁帶之間的hdd硬碟壓似乎很快將要消亡。最近,hgst公司宣布已經使微波輔助磁記錄成為可能,並**這項技術將使它在未來每年地提高50%的儲存密度。如果這個**結果是正確的,十年來,相同容量的hdd硬碟的成本可能只是快閃儲存器的十分之一。這種情況給儲存系統帶來了巨大的壓力,將會繼續提供混合解決方案,以便利用快閃儲存器效能和hdd硬碟的容量。

io:如何看待未來五年企業儲存和資料中心行業的變化?

pg:在接下來的五年裡,人們將看到雲計算和本地資料中心的合理化。企業會將許多應用程式遷移到公共雲。移動應用程式的難點在於移動他們的資料。促進移動的儲存產品將會蓬勃發展,儲存產品如果在應用程式遷移過程中在技術方面落後,將會失去存在的意義。最後,儲存將被分為廣泛使用,相關的可攜式資料管理,以及不太相關的儲存點解決方案幾種型別。

如何面對中年危機

中年危機離我還有十年,但是解決中年危機的規劃起始點就在今天。小歡喜 的男主正在經歷中年危機,他是乙個進入中產階級了企業創始人,比我優秀的多,然而被變相炒魷魚之後卻那麼失落,當打聽到外面送貨員的月薪達到萬八千竟然表現的那麼感興趣。看到這裡我笑不出來,是心酸。我也許看到了未來的自己 一年前,我看到華為某...

物聯網 資料驅動企業 如何應對資料洪流

本文講的是物聯網 資料驅動企業 如何應對資料洪流,在物聯網世界當中,從供熱系統到生產控制系統,再到rfid標籤,所有的東西都在收集著資料。如果你在企業當中,那麼資料正在向你湧來。這既是好事,也是壞事。好事是因為有了這些資料,公司可以提高效率,更為智慧型地運營,找到新的營收 壞事是因為很少有公司已經做...

企業如何實現資料安全儲存

企業如何實現資料安全儲存 資源來自問道網www.askform.cn askform問道網採用阿里雲提供基礎服務,因此充分利用阿里雲提供的服務來制定策略,從而達到資料安全,可靠,穩定。1.資料可靠性 資料可靠性是第一位,askform問道網的首要職責是保證使用者所有資料不丟失,達到銀行級別的可靠性。...