AI和機器學習的快速發展惠及資料儲存行業

2021-09-23 06:33:43 字數 2637 閱讀 8460

關於ai和機器學習的討論已經鋪天蓋地了,雜誌文章和電視新聞也在不停地談論這些技能潛在革新能力。但是我們必須警惕,ai和機器學習對資料儲存的需求是無限的。它們消耗了大量的儲存空間,而且對吞吐量也有無限的需求。

idc最新的報告顯示,儲存收入在逐步萎縮,ai和機器學習的發展對於儲存**商來說是乙個好訊息。但是行業產能將會被無限擴大,正如分析引擎將會與資料儲存庫產品爭奪一樣,將會以他們希望的速度來提供資訊。

datadirect networks產品營銷高階總監laura shepard表示,機器學習的應用會很快地消耗掉基礎資料訪問能力和管理基礎設施。原型和一代機器學習基礎設施通常建立在現存的企業儲存之上,或者有團隊會推出自己的白盒或者混合開源的國產、商用工具和應用程式。

因此, 對於大多數成功的機器學習專案來說,隨著規模增加都將會遇到問題;對於ai來書,大多數資料可以產生乙個更好的結果。這也推動了機器學習專案的不斷增長。

shepard表示,規模增加和減少的故障表明,如果不能以所需的速度提供資料訪問,不能擴大資料搜尋的速度,那麼就不能使得資料儲存變得更加簡單和具有成本效益。任何失敗都會導致整個專案的失敗,因為如果不能提公升輸入,或者增加機器學習網路的深度,將就不能提高輸出的規模。

無法規模的資料轉換,以改善調查結果,並無法大規模的資料儲存在乙個腳印,很容易或具有成本效益的管理。任何這些失敗可能脫軌的整體方案的進步,因為如果你不能增長你的投入或增加你的深度學習網路的深度,你不能擴大你的輸出,說謝巴德。

shepard認為,當這種情況發生的時候,我們看到第一代基礎設施開始有壓力了。

機會來臨

但是對於一些人的挑戰,對於另一些人是機會。隨著ai和機器學習應用的增長,它將吸引越來越多的創業公司來解決涉及的更多問題。

it brand pulse高階分析師frank berry表示,管理資料中心基礎設施一直是乙個需要積極部署的事情,並需要走在業務需求的前面。機器學習的目的是自動獲取更高的儲存能力、更加高可用的服務水平(減少每儲存單元所需管理員數)和更好的效能。

zadara storage的市場副總監kevin liebl繼續深入**了這個話題。他相信正如自動駕駛汽車一樣,ai將讓資料儲存具有自我管理的能力和自動駕馭資料中心的能力。

自動化將會大大增加管理員能夠管理的機器數量,當伺服器完全配備了分析和自動化服務管理軟體的時候,一名管理員能夠管理的伺服器數量將會從今天的500臺增加到未來的20,000臺。liebl認為,這種管理方式將會讓儲存管理更加簡單,花費更少的時間,並且更加有效率。

liebl還補充到,儲存是資料中心自我執行的中心,因為所有的這種自動化需要記錄所有的活動,當然,這種記錄將會產生資料。隨著雲計算、移動化和iot、社交**和分析的發展,資料將會大規模的增長。這就是為什麼所有的資料容量都將繼續以沒兩年翻一倍的速度增長。

liebl 表示,ai在儲存行業的最大需求可能主要在於儲存管理能力,這讓系統能夠自動處理資料的急劇增長。

正如個人電腦重塑了業務世界一樣,ai和機器學習將會以同樣的方式來影響儲存行業的發展。正如個人電腦提高了個人應用能力到大規模企業資料庫和自動程式能力一樣,ai和機器學習很可能由消費者喜歡的功能演變為全方位的資料驅動程式,這將推動全球企業的發展。

cloudian公司的ceo michael tso表示,未來20年,公司將會演變成ai輔助的組織。在那樣的世界裡,資料將促進協作,機器將會收集資訊、學習並幫助人類匹配客戶需求來進行實時決策。

這樣的情況現在已經存在了。像亞馬遜這樣的購物**就使用了這種技術。同樣的,廣告反饋系統越來越善於為**使用者提供基於訪問的廣告推廣服務。cloudian也使用了數字廣告牌,這可以匹配個性化的駕駛員和他們的汽車,為其推送合適的廣告。

tso認為,在儲存行業,這就意味著,**商不得不保留大規模的非結構化資料來訓練機器。一旦機器可以進行自我學習,他們將能夠收集和生產新的大量的資料來儲存、標記和分析。

在我們的受訪者中,絕大多數專家都提到了自動駕駛汽車。自動駕駛汽車被描述為通過大量的感測裝置來"讀取"周圍環境,這跟準確的地圖資料有點類似。由此來覺得如何駕駛、剎車和加速等。這樣所需儲存的複雜性是顯而易見的。攝像機和雷達等裝置產生的資料每秒有10gb之多。所有這些資料都要被壓縮和處理。通過自動駕駛汽車的攝像機和雷達能夠獲得高畫質地圖資料。這是獲得準確汽車汽車位置的關鍵所在。這些高畫質地圖在標準地圖之上,額外新增了車道標線、限制和標誌。 所有這些資料以每秒10s+gb的速度產生。這些資料乘以運動量再乘以汽車數量,其資料量將是非常非常巨大的。

另外,每輛汽車還要記錄一些駕駛資料,並儲存幾天到幾個月不等---這取決於oem和監管要求。這是非常重要的,因為即使這些資料上傳到雲,本地還是要儲存這些資料的。資料的質量還僅僅只是個開始,這些資料報括每輛車和通過系統產生的,這些資料將會決定汽車的安全行駛和高效執行。所有型別的ai和機器學習系統都將獲取這些資訊,並把資訊轉變為操作指導。這就意味著儲存系統必須能夠以汽車的行駛速度來儲存、轉移和處理資料。

storageio group 的分析師greg schulz表示,這些現有資料的價值還有很多未被挖掘出來,ai還將帶來未開發的和未知的價值。

儲存增強

schulz 表示,ai和其他演算法能夠讓分析被用於管理資料、儲存,甚至會涉及到資料基礎設施資源。這意味著,這將超越基本分析和洞察力意識報告,以及基於系統或軟體管理的傳統政策。

他提到要注意ai和機器學習對cpu處理能力需求的增加和儲存容量的增加,同時還會增加---把資料轉變為資訊的工具---的需求。

原文發布時間為:

2023年4月24日

AI和機器學習的快速發展惠及資料儲存行業

關於ai和機器學習的討論已經鋪天蓋地了,雜誌文章和電視新聞也在不停地談論這些技能潛在革新能力。但是我們必須警惕,ai和機器學習對資料儲存的需求是無限的。它們消耗了大量的儲存空間,而且對吞吐量也有無限的需求。idc最新的報告顯示,儲存收入在逐步萎縮,ai和機器學習的發展對於儲存 商來說是乙個好訊息。但...

機器學習的發展

機器學習是一門多領域的交叉學科,涉及到電腦科學 概率統計 函式逼近論 最優化理論 控制論 決策論 演算法複雜度理論 實驗科學等多個學科,希望使用計算的方法來模擬人類的學習行為,從歷史 train 中獲得規律 模型 並將其用於新的類似場景之中 test或者實時的應用場景 1 深度學習 深度學習是一類端...

機器學習中qa測試 如何測試AI和機器學習系統?

智慧型手機,智慧型揚聲器,智慧型汽車,智慧型咖啡機.這個名單還在繼續。看起來我們周圍的一切都變得生機勃勃,變得聰明起來。雖然科幻型別依賴於我們對敵對機械人接管的恐懼,但智慧型裝置絕不是反烏托邦 它們實際上是為了讓我們的生活更輕鬆,所以我們可以花更多的時間在重要的東西上,而不是繁瑣的工作上。科技公司知...