2引擎幫助文件 MOS雙引擎,加速智慧型應用的助推器

2021-10-12 21:34:30 字數 2846 閱讀 8662

1 儲存引擎+智慧型引擎:更強大的mos物件儲存

企業耗費資本儲存資料,最終是為了利用資料價值創造經濟效益。

儲存倘若仍是乙個「傻盒子」,只能儲存卻不能感知資料,是無法滿足企業真正需要的。

企業對資料價值利用的強烈訴求,驅動大資料儲存步入3.0時代。

這要求儲存足夠智慧型,可基於資料感知實現資料處理和智慧型排程,基於應用感知實現訪問加速,通過儲存自身的智慧型運維減少人力依賴。

如此,才能幫助企業用好資料,以智慧型儲存為數字底座,構建面向未來的it基礎架構。

而杉巖mos海量物件儲存的智慧型資料處理引擎,正是承載了這一使命。

圖1.海量資料增長催生儲存形態變遷

從杉巖的產品戰略來看,海量儲存核心引擎和智慧型資料處理引擎,支撐起了更為強大的mos物件儲存。前者依託分布式架構、多樣化管理策略以及全面的企業級特性,滿足企業儲存和管理海量資料的需求;後者依託開放式平台和強大的資料處理能力,並基於資料感知實現智慧型排程,滿足智慧型處理資料、挖掘資料價值的需求。雙引擎驅動,讓mos物件儲存集海量資料儲存、管理、價值挖掘於一體,無疑是企業應對大資料挑戰的極佳選擇。

圖2.mos雙引擎驅動智慧型應用

2 智慧型資料處理引擎:加速智慧型應用,釋放資料價值

數位化浪潮來襲,大資料、人工智慧的發展超出預期,在各行業的落地應用也逐漸鋪開,企業利用ai挖掘資料價值的需求是不言而喻的。

在傳統模式下,對資料庫檔案等結構化資料進行價值挖掘相對容易,但是對於影象、影音等非結構化資料的價值挖掘是比較困難的。

mos的智慧型資料處理引擎,正是為此而生。通過對非結構化資料的多維度標籤化和結構化處理,讓有價值的資料更容易被發現,實現更高效的價值挖掘。有了智慧型資料處理引擎,資料處理能力下沉到儲存內部,通過與海量儲存核心引擎高效聯動,並基於資料感知實現智慧型排程,極大地簡化業務流程,提公升業務效率。

圖3.智慧型資料處理引擎工作流程

智慧型管理10億檔案,幫助廣發**打造內容管理平台

目前,智慧型資料處理引擎幫助許多行業客戶實現了資料的高效價值挖掘,提公升收益。

廣發**原來的檔案管理往往需要業務員人眼篩查,耗時長、易出錯,檔案查詢不夠精準。採用智慧型資料處理引擎後,當客戶電子檔案存入時,通過身份證識別外掛程式,將客戶的姓名、出生年月、身份證號等資訊提取出來並打上標籤,後續營業廳工作人員可直接通過檔案檢索介面,根據標籤資訊進行檔案的精細化檢索,也可以自定義檢索模板,方便高效。此外,為滿足合規要求,需將合同檔案(word文件)轉為pdf文件並新增水印後再存檔。該專案中對相關檔案設定生命週期策略,自動呼叫智慧型資料處理引擎的文件格式轉換(word轉pdf)和新增水印功能,處理後的檔案自動轉存至目標桶,整個過程基於生命週期策略自動觸發,無需人工介入,極大提公升了業務效率。

圖4.智慧型資料處理引擎對證件**和文件的加工處理

智慧型儲存助力質檢效率提公升,幫助utac節省20%儲存空間

utac是全球十大晶元封測廠商之一,在其晶元封測產線上,通過工業攝像機拍攝晶元的高畫質影象(bmp格式,單張30mb以上)進行智慧型質檢,每天資料增量80tb,每月檔案增量1.3億個,儲存3-4個月,預計需要pb級儲存空間。進一步交流得知,部分僅前三天需要高畫質格式,以便於人工複核,三天之後僅作歸檔和檢索,或者直接刪除。利用智慧型資料處理引擎將bmp轉為jpg(單張10mb以內),並基於標籤實現生命週期自動化管理(如到期自動刪除,轉碼後歸檔到冷池)。該方案幫助使用者節省20%儲存空間,且資料處理效率相比傳統方案提公升了30%,總體成本降低了60%以上。

圖5.智慧型資料處理引擎對影象檔案的自動化處理

智慧型資料處理引擎在機器學習場景的應用

3 開放生態,打造強大的智慧型處理平台

杉巖mos智慧型資料處理引擎就像應用市場一樣,是乙個開放式平台,可以整合豐富的第三方外掛程式,比如合合資訊的身份證識別、票據識別等外掛程式,微模式公司的人臉識別、車輛識別等外掛程式,使用者可以按需新增外掛程式,擴充套件資料處理能力。

目前,mos智慧型資料處理引擎支援轉碼、裁剪、新增水印、身份證識別、人臉識別、車牌識別、票據識別、文件識別、語音識別、內容提取、檔案格式轉換等20餘項處理功能,為使用者提供更強大的智慧型處理平台,滿足不同場景的資料處理需求。

智慧型資料處理引擎是杉巖資料面對大資料儲存發展趨勢的應對方案,在海量儲存和便捷管理的基礎上,讓儲存「理解」資料,基於資料感知實現資料預處理和智慧型排程,簡化業務流程;基於應用感知實現訪問加速,快速響應業務需求;依託智慧型運維減少人力依賴,打造更強大的智慧型數字底座,構建面向未來的智慧型it基礎架構。

往期 ·閱讀

智慧型化管理10億檔案,g**是如何做到的?

從「製造」到「智造」,看utac如何加速釋能

從資料到洞察,如何用物件儲存支撐新型資料湖

杉巖資料創始人陳堅:新基建需要以資料為核心的「新儲存」

v8引擎和v12引擎 深入V8引擎 AST 2

先宣告一下,這種長系列的大塊頭部落格只能保證盡可能的深入到每一行原始碼,有些 我不樂意深究就寫個注釋說明一下作用。另外,由於本地整理的比較好,部落格就隨心寫了。bool parseprogram parseinfo info,isolate isolate 所需要關心的核心 就是這些,非常簡單,pa...

Ubunt使用Murrine GTK2引擎

murrine是gnome下乙個有名的gtk 的主題引擎,有相當多的gtk 主題都是基於murrine所製作。murrine的特點是使用cairo進行繪製,因此速度很快,但沒有現在的deb包,安裝起要自己編譯源 1.如果你已經安裝了murrine engine,把它解除安裝掉。2.在終端裡輸入 sv...

杉巖物件儲存MOS雙引擎,加速智慧型應用的助推器

大資料分析手段的廣泛應用,助推資料快速增長,儲存形態相繼經歷了從傳統儲存到大資料儲存1.0再到大資料儲存2.0的變遷,以應對海量資料的挑戰。1.0時代解決了海量儲存的問題,通過分布式架構和軟體定義,讓資料能夠存得下。2.0時代解決了便捷管理的問題,通過多協議訪問 生命週期管理 異構儲存管理 混合雲管...