海量資料下的儲存技術,哪些模式靠得住?

2021-09-23 06:23:29 字數 2628 閱讀 5176

高畫質、長週期呈現海量儲存需求

高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外,對儲存容量的需求亦成幾何式增長。例如: 前端ipc有130w到500w畫素,碼流也從有2mbps到8mbps,而乙個130w畫素,8mbps碼流的前端,錄影乙個月就需要2531.3gb,資料量不可小覷。

對當前整個安防市場來講,特別是大公安、大交通、樓宇、司法監所、金融、文教衛、能源專案等行業迅猛發展,甲方客戶的需求及大整合商的儲存解決方案越來越傾向集中化。需要儲存的資料也成線性增長.應對如此巨大的資料量,資料儲存及客戶資料快速有效查詢就變得至關重要。某公司一直緊跟行業發展方向,致力於推出更符合使用者需求與行業需求的監控/資料中心解決方案。

現有的安防儲存模式

1.dvr/nvr前端本地儲存

此種模式,一般應用於實施較早專案,使用的是dvr/nvr前端本地儲存,隨著大資料時代的來臨,採用了比較直接的方法,在dvr/nvr直接連線擴充套件櫃來實現容量的擴容。原來系統及原資料保持不變。此種模式由於採用dvr/nvr儲存容量相對較小,況且dvr/nvr效能較低,資訊孤島現象嚴重,無法滿足大資料需求。

2.集中儲存模式

客戶資料採用磁碟陣列模式。可以採用在儲存節點後直接增加擴充套件櫃的模式,隨著集群的推出也可以通過增加儲存節點來實現容量增加。相對於dvr/nvr模式,容量大大提公升,並實現了資料的集中儲存,同時支援儲存節點間的故障的自動業務接管,最大程度上實現了業務資料的完整性。但是隨著大資料的來臨,後續專案擴容時,需要人為配置裝置的負載均衡。一台儲存故障後導致裝置儲存的資料部分中斷或者接管裝置壓力較大,另外考慮到網路延時,可能導致儲存資料不完整,資料獲取需要人為指定裝置資料獲取,管理成本較高等。為了裝置的負載均衡,空間的虛擬化裝置易維護的問題,雲儲存技術應運而生。

3.雲儲存模式

通用雲儲存

1)高效靈活的空間管理

2)海量資料的快速檢索

3)持續可靠的資料服務

4)高可擴充套件的應用支撐

5)開放透明的相容系統

6)高可擴充套件的應用支撐

7)開放透明的相容系統

目前需要儲存容量不斷增加,客戶要求資料儲存週期越來越長,帶庫和雲儲存融合方案慢慢呈現在客戶面前。

方案中所有儲存裝置均可設計為冗餘連線,在滿足使用者儲存需求的同時,兼顧整個系統的儲存效能和安全性。

系統功能簡介

業務層面

資料高可靠性保障系統

帶庫方案是基於目前穩定的儲存系統架構,採用成熟穩定的硬體,可以保障系統長時間穩定執行。系統的管理軟體具有報警措施,控制軟體發現軟硬體異常時,通過多種方式進行報警。管理軟體包括快照和轉殖的功能,可以使所管理的資料回滾到原來某一時刻的狀態,防止使用者錯誤操作帶來的資料丟失。同時通過儲存管理軟體實現備份功能。

高安全資料儲存

系統通過使用者名稱、密碼、ip位址認證等認證方式,保證資料空間訪問許可權的控制,保障資料不會被其他人惡意竊取或破壞。

方案中,根據客戶需求可以設定不同的登入許可權和讀寫操作許可權,實現資料的安全性

儲存裝置內嵌worm歸檔模組,它是針對檔案類儲存提供的基於硬碟的寫一次,讀多次的儲存產品。可以有效防止關鍵檔案資料被篡改。

高擴充套件的帶庫儲存

整個系統的儲存容量可以在不影響業務執行的情況下隨需採購磁帶擴充套件。儲存的效能也可以動態線性增加,通過增加驅動器的方式,拓寬整個系統的處理效能。

系統易擴充套件為遠端容災儲存系統。系統是基於儲存和備份軟體結合,易於實現遠端的資料傳輸;為以後擴充套件到其他地區,結合為一體的容災儲存系統建立好的基礎條件。

科學有效的備份實現

日常需要備份的主要業務資料,可以用檔案同步和檔案備份功能實現。設定合理的備份策略, 盡可能利用非業務時間進行檔案同步和備份,避免增加對應用區域網的負載壓力。

採用專業的檔案集中備份功和資料庫備份功能實現。不干擾使用者的區域網正常業務,達到lan free效果。

較低的儲存環境要求

磁帶是可移動介質,可以異地離線儲存,運輸方便,可以根據使用者需求在不同存放地點之間搬運,這對資料的安全來說是非常有利的,適合資料交換。離線磁帶不會受機械振動、電力變化等因素帶來對壽命的影響,對存放條件要求簡單。

通常情況下,價效比和高可用仍是企業或者個人選擇儲存系統最優先考慮的兩大因素,此外儲存的易於部署和管理以及磁碟和快閃儲存器的緊密整合也是企業使用者評估儲存的重要考慮因素.隨著大資料時代的來臨,企業會根據自身需求和預算來挑選適合自己的企業的解決方案。

整體來說,目前雲儲存發展最為迅猛, 以其遙遙領先的優勢獨占鰲頭,必然會是未來大資料應用的重點組成部分,同時資料分層、融合以及智慧型也將逐漸普及應用,可以說,安防行業為了迎接大資料來臨,已經做好了充足的準備。

海量資料下的儲存技術,哪些模式靠得住?

高畫質 長週期呈現海量儲存需求 高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外,對儲存容量的需求亦成幾何式增長。例如 前端ipc有130w到500w畫素,碼流也從有2mbps到8mbps,而乙個130w畫素,8mbps碼流的前端,錄影乙個月就需要2531.3gb,資料量...

論 大資料 時代下的海量資料儲存技術

高畫質 長週期呈現海量儲存需求 高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外,對儲存容量的需求亦成幾何式增長。例如 前端ipc有130w到500w畫素,碼流也從有2mbps到8mbps,而乙個130w畫素,8mbps碼流的前端,錄影乙個月就需要2531.3gb,資料量...

Oracle的海量儲存技術

下午去參加乙個 oracle 有關海量資料儲存技術的培訓講座了。位址在廣州市林和西路 101號天河區計經大樓西側三樓。培訓發起機構為 廣州中睿資訊科技 以下就簡要總結一下所聽到的一些東西,也算是學到的這些技術。只是有的東西不知道總結的對不正確,暫且囫圇吞棗吧。oracle 的儲存技術 大體上分為兩種...