文章講的是大資料環境下的網路安全挑戰分析，
大資料架構和平台算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大資料集群將會與將來我們看到的資料集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大資料的生命週期中，業界仍處於早期階段，但公司越早開始應對大資料的安全問題，任務就越容易。如果安全成為大資料集**展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。
「大資料」一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什麼意義了。大資料確實儲存並處理大量的資料集合，但其特性體現遠不止於此。
在著手解決大資料問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大資料現象由三個大趨勢的交集所推動：包含寶貴資訊的大量資料、廉價的計算資源、幾乎免費的分析工具。
如今，有很多特別重視不同資料型別(例如，地理位置資料)的大資料管理系統。這些系統使用多種不同的查詢模式、不同的資料儲存模式、不同的任務管理和協調、不同的資源管理工具。雖然大資料常被描述為「反關係型」的，但這個概念還無法抓住大資料的本質。為了避免效能問題，大資料確實拋棄了許多關係型資料庫的核心功能，卻也沒犯什麼錯誤：有些大資料環境提供關係型結構、業務連續性和結構化查詢處理。
由於傳統的定義無法抓住大資料的本質，我們不妨根據組成大資料環境的關鍵要素思考一下大資料。這些關鍵要素使用了許多分布式的資料儲存和管理節點。這些要素儲存多個資料副本，在多個節點之間將資料變成「碎片」。這意味著在單一節點發生故障時，資料查詢將會轉向處理資源可用的資料。正是這種能夠彼此協作的分布式資料節點集群，可以解決資料管理和資料查詢問題，才使得大資料如此不同。
節點的鬆散聯絡帶來了許多效能優勢，但也帶來了獨特的安全挑戰。大資料資料庫並不使用集中化的「圍牆花園」模式(與「完全開放」的網際網路相對而言，它指的是乙個控制使用者對網頁內容或相關服務進行訪問的環境)，內部的資料庫並不隱藏自己而使其它應用程式無法訪問。在這兒沒有「內部的」概念，而大資料並不依賴資料訪問的集中點。大資料將其架構暴露給使用它的應用程式，而客戶端在操作過程中與許多不同的節點進行通訊。
規模、實時性和分布式處理：大資料的本質特徵(使大資料解決超過以前資料管理系統的資料管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面)使得保障這些系統的安全更為困難。大資料集群具有開放性和自我組織性，並可以使使用者與多個資料節點同時通訊。驗證哪些資料節點和哪些客戶應當訪問資訊是很困難的。別忘了，大資料的本質屬性意味著新節點自動連線到集群中，共享資料和查詢結果，解決客戶任務。
嵌入式安全：在涉及大資料的瘋狂競賽中，大部分的開發資源都用於改善大資料的可公升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是，你希望得到嵌入到大資料平台中的安全功能。你希望開發人員在設計和部署階段能夠支援所需要的功能。你希望安全功能就像大資料集群一樣可公升級、高效能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到hadoop或其它的非關係型資料庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。
應用程式：面向大資料集群的大多數應用都是web應用。它們利用基於web的技術和無狀態的基於rest的api。雖然全面討論大資料安全的這個問題超出了本文的範圍，但基於web的應用程式和api給這些大資料集群帶來了一種最重大的威脅。在遭受攻擊或破壞後，它們可以提供對大資料集群中所儲存資料的無限制訪問。應用程式安全、使用者訪問管理及授權控制非常重要，與重點保障大資料集群安全的安全措施一樣都不可或缺。
資料安全：儲存在大資料集群中的資料基本上都儲存在檔案中。每乙個客戶端應用都可以維持其自己的包含資料的設計，但這種資料是儲存在大量節點上的。儲存在集群中的資料易於遭受正常檔案容易感染的所有威脅，因而需要對這些檔案進行保護，避免遭受非法的檢視和複製。
大資料技術在網路安全分析的作用
網際網路資訊科技的飛速發展，流動資料越來越多，這些資料有效提高了網際網路的價值，但是隨著海量的資料和資訊的不斷增加，網路安全分析的壓力也越來越大，隨著計算機軟硬體技術的不斷增長和資料傳輸速率的加快，網路安全要想在一定時間內有效地檢索海量資料，就必須提公升對資料採集 處理方面的速度，同時也要確保資料的...
大資料環境下網路安全態勢感知研究
態勢感知是指在特定的時間和空間下，對環境中各元素或物件的覺察 理解以及對未來狀態的 它包含覺 察 資料收集 理解 物件行為及相互影響，以及 基於規則的資訊對映等不同的內容和環節。初期，這一概念主要被應用於工業控制領域，美國空軍通訊與信 息中心的tim bass 在1999 年首次提出將態勢感知技術應...
當網路安全遇上大資料分析（6）
本文繼續亂彈 bda從一般意義上，或者從技術層面可以劃分為資料獲取 資料整理 資料實時分析 資料儲存 資料檢索 資料歷史分析 資料視覺化。而從bda的應用層面，可以應用到網路安全領域，這時候又可以劃分為安全事件管理 apt檢測 到0day 惡意 分析 網路取證分析，到網路異常流量檢測 安全情報分析 ...