網路犯罪和其他惡意活動的增加正在促使企業部署比以往任何時候都更多的安全控制以及收集更多的資料。現在，企業開始將大資料分析技術應用到安全監控中，試圖通過範圍更廣更深入的分析來保護寶貴的公司資源。大資料安全分析技術部分利用了大資料的可擴充套件性，並結合了高階分析和安全事件與事故管理系統(siem)。
大資料安全分析適合很多用例，但並不適合所有用例。例如，我們應該考慮一下檢測和阻止高階持續性威脅技術面臨的挑戰。使用這些技術的攻擊者可能會採用慢節奏、低能見度的攻擊模式來逃避檢測，而傳統的日誌記錄和監控技術可能無法檢測到這種攻擊，因為這種攻擊的各個步驟可能在單獨的裝置執行，跨越很長的時間週期，並且看起來似乎沒有關聯。掃瞄日誌和網路流量中的可疑活動有時候可能會錯過攻擊者殺傷鏈的關鍵部分，因為它們可能與正常活動的差別不大。而避免遺漏資料的方法之一是盡可能多地收集資料，而這正是大資料安全分析平台中使用的方法。
顧名思義，這種安全分析方法利用了大資料工具和技術，這些工具和技術可收集、分析和管理高速生成的大量資料。這些相同的技術還被用於提高各種產品的效率，從針對流**使用者的電影推薦系統，到分析車輛效能特性來優化運輸效率等。但應用到資訊保安領域時，它們也同樣有用。
在評估大資料安全分析平台時，一定要考慮以下五個因素，這五個因素是充分發揮大資料分析優勢的關鍵：
• 統一資料管理平台;
• 支援多種資料型別，包括日誌、漏洞和流量;
• 可擴充套件的資料獲取;
• 資訊保安專用分析工具;
• 合規性報告
總之，這些功能可提供廣泛的功能來收集高速生成的大量資料，並且快速分析這些資料，讓資訊保安專業人員可有效地響應攻擊。
第1個因素：統一資料管理平台
統一資料管理平台是大資料安全分析系統的基礎;資料管理平台負責儲存和查詢企業資料。這聽起來像是眾所周知的已經解決的問題，而不應該是乙個重要的特性，但它確實很重要。由於關聯式資料庫無法像分布式nosql資料庫(例如cassandra和accumulo)那樣經濟高效地擴充套件，處理大量資料通常需要分布式資料庫。不過，nosql資料庫的可擴充套件性也有自己的缺點。例如，我們很難部署資料庫某些功能的分布式版本，如acid事務等。
大資料安全分析產品下的資料管理平台需要平衡資料管理功能與成本及可擴充套件性。該資料庫應該能夠實時寫入新資料，而不會阻止寫入。同時，查詢應該快速執行以支援對入站安全資料的實時分析。
統一資料管理平台的另乙個重要方面是資料整合。
第2個因素：支援多種資料型別
我們通常會從數量、速度和種類來描述大資料。其中安全事件資料的多樣性給資料整合帶來了很多挑戰。
這些事件資料是按不同的細粒度級別來收集。例如，網路資料報是低級別、細粒度資料，而有關管理員密碼變更的日誌條目則為粗粒度資料。儘管存在明顯區別，它們還是可以關聯在一起。例如網路資料報可以捕捉有關攻擊者到達目標伺服器採用的方法的資料，在攻擊者獲取目標伺服器訪問許可權後，就可以更改管理員密碼。
第3個因素：可擴充套件的資料獲取
伺服器、端點、網路和其他基礎設施元件處於不斷變化的狀態。很多這些狀態變化記錄了有用的資訊，這些資訊應該傳送到大資料安全分析平台。假設網路有足夠的頻寬，那麼，最大的風險就是安全分析平台的資料獲取元件無法應對入站資料。如果是這樣的話，資料可能會丟失，而大資料安全分析平台則會失去價值。
系統可以通過對訊息佇列中排隊資料維持高寫入吞吐量，以適應可擴充套件的資料獲取。同時，有些資料庫專門用於支援高容量寫入，它們採用僅允許附加的方式來寫入，資料被附加在日誌資料的後面，而不是寫入到磁碟的任意塊，這可減少了隨機寫入到磁碟而帶來的延遲。或者，資料管理系統可以維持乙個佇列作為緩衝器，在資料寫入到磁碟時儲存資料。如果訊息激增或者硬體故障減緩寫入操作，資料可積累在佇列中，直到資料庫可以清除寫入的積壓。
第4個因素：安全分析工具
hadoop和spark等大資料平台是通用工具。雖然它們可以有效構建安全工具，但它們本身並不是安全分析工具。分析工具應該可以擴充套件來滿足企業基礎設施中生成的資料，這樣來看，hadoop和spark等工具滿足這個標準。此外，安全分析工具應該考慮不同資料型別之間的關係，例如使用者、伺服器和網路等。
分析師應該能夠在抽象層面查詢事件資料。例如，分析師應該能夠查詢使用特定伺服器和應用的使用者之間的關聯，以及這些裝置之間的關聯。這種查詢需要更多圖形分析工具，而不是傳統資料庫中使用的行和列的查詢。
第5個因素：合規性報告
合規報告不再是「最好滿足」的要求，而是必須滿足的要求。很多因合規目的報告的資料元素都涉及安全最佳做法。即使企業不需要維持合規報告，這些報告也可以為企業提供很好的內部監督。
當企業需要提供合規報告，企業需要審查各種大資料安全平台中的報告制度，以確保滿足企業的業務需求。
有效部署大資料安全分析平台
大資料安全分析利用了大資料平台的可擴充套件性，以及安全分析和siem工具等的分析功能。對於企業而言，重要的是認識到這兩者的特性，以及有效部署大資料安全分析平台所需的五個因素。簡單地使用「安全」來重新命名大資料平台或者堅信siem可以處理大資料(儘管它並不是為此目的而構建)並不是真正的大資料安全分析平台。
原文發布時間為：2015-12-07
乾貨 盤點國內真正的大資料分析產品
下面簡單介紹幾款比較有代表性的大資料分析平台 1 cloudera 作為全球認知度最高的大資料平台公司，國內90 的版本基本都是在cdh的基礎上封裝的，對社群的掌控力最大。與國際軟體 商聯手，產品涵蓋大資料平台 etl 高階分析 資料視覺化等各個方面。cloudera提供乙個可擴充套件 靈活 整合的...
大資料安全分析平台評估五要素
在考核大資料安全分析平台時，要確保對以下五個要素進行評估，這對實現大資料分析的效果非常關鍵。這對於快速收集隨時產生的海量資料 快速進行資料分析，確保安全人員高效響應非常重要。大資料安全分析平台評估五要素。要素1 統一的資料管理平台 統一的資料管理平台是大資料分析系統的基礎。資料管理平台儲存和查詢企業...
當網路安全遇上大資料分析（6）
本文繼續亂彈 bda從一般意義上，或者從技術層面可以劃分為資料獲取 資料整理 資料實時分析 資料儲存 資料檢索 資料歷史分析 資料視覺化。而從bda的應用層面，可以應用到網路安全領域，這時候又可以劃分為安全事件管理 apt檢測 到0day 惡意 分析 網路取證分析，到網路異常流量檢測 安全情報分析 ...