在考核大資料安全分析平台時,要確保對以下五個要素進行評估,這對實現大資料分析的效果非常關鍵。這對於快速收集隨時產生的海量資料、快速進行資料分析,確保安全人員高效響應非常重要。大資料安全分析平台評估五要素。
要素1:統一的資料管理平台
統一的資料管理平台是大資料分析系統的基礎。資料管理平台儲存和查詢企業資料。這似乎是乙個廣為所知,並且已經得到解決的問題,不會成為區分不同企業產品的特色,但實際情況卻是,這仍是個問題。處理海量資料通常需要分布式資料庫,因為關係型資料庫不具備nosql資料庫的那種高效處理能力。但nosql資料庫的可擴充套件性有自己的缺陷。因此,大資料安全分析產品的資料管理平台需要平衡在成本與可擴充套件性進行平衡。資料庫需要能近乎實時去寫入新資料,同時能進行快速查詢,以支援對安全資料的實時分析。統一資料管理平台需要考慮的另乙個重要方面是資料整合問題。
要素2:支援多種資料型別
正如上文所提到的,人們一般用三個「v」(大量、快速、多樣)來描述大資料。安全事件的資料多樣性給資料的整合帶來不少問題。大資料分析平台利用了大資料平台的可擴充套件性,以及安全分析與siem工具的分析功能。安全事件資料收集 會有不同的顆粒度。比如網路包是一般層級較低、細粒度的資料,而修改伺服器管理員密碼的日誌則會是粗顆粒的資料。儘管存在不同,這些資料可能有關聯的。網路包也可以捕獲有關攻擊者潛入目標資料庫的資料。
安全事件資料的語義因種類而不同。網路包的資訊有助於分析人員了解終端見傳輸的資料,而漏洞掃碼的日誌則會反映伺服器或其他裝置在特點時期的狀況。大資料分析平台需要足夠掌握不同安全型別的語義資訊,以便進行整合和關聯分析。
要素3:合規報告
合規報告不再是可有可無的要求。很多用於合規報告目的的資料要素都與安全最佳實踐有關。即使是那些不需要合規報告的企業,這些報告仍可以用於內部監督。在需要合規報告的企業,需要審核大資料報告平台是否包含了合規報告功能,以確保貴機構的需要得到滿足。
要素4:可擴充套件資料提取
伺服器、終端、網路與其他基礎設施的狀態都在不斷變化。很多狀態變化日誌都是有用的資訊,應該傳送到大資料安全分析平台。假設網路頻寬充裕,最大的風險是安全分析平台的資料提取元件無法支撐不斷湧入的安全資料。這種情況下,資料會丟失,從而損害部署大資料安全分析平台的目的。
維持訊息佇列中的查詢資料高寫入量,系統可以支援不斷增加的資料提取。同時,一些資料庫使用追加寫入的方式支援海量寫入。資料被追加到提交日誌而不是隨意寫入到磁碟塊。這樣可以減少隨意寫入磁碟時的延遲。這種資料管理系統維持乙個佇列可以作為寫入時的資料儲存緩衝。如果出現資訊劇增或硬體故障,導致寫入操作,資料可以堆積在佇列中,直至資料庫消除積壓的寫入資料。
要素5:安全分析工具
hadoop和spark等大資料平台都是通用目的的工具。它們可以幫助開發安全工具,但它們本身並不是安全分析工具。安全攻擊可以進行擴充套件以滿足企業基礎設施產生的資料規模。因此,hadoop和spark等工具滿足這一標準。但安全分析工具應該負責解釋不同資料型別的關係,比如使用者、伺服器和網路。
大資料分析平台利用了大資料平台的可擴充套件性,以及安全分析與siem等工具的安全分析能力。因此,使用者在部署和採購時需要認清這兩者的特徵,以及這裡所介紹的5個要素。簡單地給大資料平台命名為「大資料安全分析平台」,或者宣稱自己的siem(soc)平台能夠應付海量安全大資料,都不會打造成真正的大資料安全分析平台。
大資料平台容量評估 大資料平台
系統概述 大資料應用支撐平台提供資料支撐服務,對外發布資料服務進行資料價值變現。包含資料採集 資料治理 資料交換 資料儲存 資料計算相關元件的搭建 驗證,並建立大資料倉儲。b 功能要求 2.資料治理,由於從資料採集工具採集過來的資料不具備統一的資料標準及資料格式,資料治理工具需要對到達的資料進行格式...
當評估大資料安全分析產品時 你應該考慮這五個因素
網路犯罪和其他惡意活動的增加正在促使企業部署比以往任何時候都更多的安全控制以及收集更多的資料。現在,企業開始將大資料分析技術應用到安全監控中,試圖通過範圍更廣更深入的分析來保護寶貴的公司資源。大資料安全分析技術部分利用了大資料的可擴充套件性,並結合了高階分析和安全事件與事故管理系統 siem 大資料...
大資料平台安全標準設計
從應用角度看,需大資料平台提供如下4項安全功能 邊界 訪問 透明 資料 1 邊界 限制只有合法使用者身份的使用者訪問大資料平台集群 1 使用者身份認證 關注於控制外部使用者或者第三方服務對集群的訪問過程中的身份鑑別,這是實施大資料平台安全架構的基礎 使用者在訪問啟用了安全認證的集群時,必須能通過服務...