大資料是時下最火熱的it行業的詞彙，隨之資料倉儲、資料安全、資料分析、資料探勘等等圍繞大數量的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。
本人在與使用者溝通大資料問題時經常會遇到一些問題，現將這些常見問題彙總，拋磚引玉，希望可以幫助到大家。
1. 大資料安全分析的核心目標是什麼?
應答：為了能夠找到隱藏在資料背後的安全真相。資料之間存在著關聯，傳統分析無法將海量資料彙總，但是大資料技術能夠應對海量資料的分析需求。通過大資料基礎能夠挖掘出apt攻擊、內網隱秘通道、異常使用者行為等安全事件。在此基礎上可建設為安全決策支援系統，為安全決策提供資料支撐。
2. 大資料安全分析企業級部署方案與成功案例介紹。
應答：在國家電網、運營商中已經有成功的案例。通過該分析平台能夠進行整體的安全態勢感知，以全域性的角度對整體安全情況進行巨集觀掌控。 以運營商為例，將全網的資料彙總並進行資料探勘工作，視覺化的將結果進行呈現。
3. 國內外大資料安全分析的發展現狀介紹。
應答：目前國外比較成熟的大資料安全分析主要以cisco的open soc為代表。其通過採用大資料技術採集網路流量、安全裝置日誌、業務系統日誌、網路裝置日誌，並對這些資料進行挖掘、關聯等運算，最後找出安全事件。
4. 是否有成熟的大資料安全分析的方**?
應答：我們要從兩個角度來看這個問題。
首先，大資料是乙個具體的技術實現。這個技術在其適用的場景下能夠解決傳統資料探勘難以滿足的需求。
而安全分析方**是一直在不斷革新的。安全分析方**中仍然有一些理念是無法落地的，無法落地的核心問題是缺少技術支撐。
當前我們採用大資料技術不是對安全分析進行革新，而是將安全分析曾經無法實現的目標加以落地。就如同關係型資料的理念，其最早在2023年提出，而落地產品在2023年才有相應的雛形。大資料技術其實是安全分析方**的落地實現。
5. 大資料安全分析支撐平台是否存在技術標準或規範?
應答：目前沒有技術標準或規範，但是國家正在制定相應的標準。綠盟科技2023年會參與標準的制定工作。
6. 大資料安全分析類專案過程中容易遇到的技術難點或需要大量投入的環節?
應答：分析平台目前基本是成熟的技術，難點主要在與前期規劃與安全分析兩個環節。前期規劃要能夠準確的估算出硬體配置、儲存容量等基礎資訊，後期的安全分析需要專業人員對資料進行深入挖掘。
7. 從大資料安全分析的角度如何實現資料驅動業務安全?
應答：通過大資料分析能夠量化的明確當前企業中存在的安全事件，通過安全事件驅動業務發展，從而實現資料驅動業務安全的目標。
8. 作為非it型別企業，要實現大資料安全分析所需的必要條件是什麼?
應答：有專職的it團隊，有專職的安全團隊，有必要的資源投入，有必要的流程支援。
9. 大資料安全分析視覺化的技術現狀如何?展示的內容、方法、形式有哪些?
應答：視覺化技術一直都在不斷發展中，在沒有大資料之前視覺化技術廣泛被使用在bi系統中。隨著大資料技術的成熟，視覺化技術不僅能實現傳統的餅圖、折線圖、散點圖、柱狀圖、條形圖之外，還能夠以地圖、熱力圖、氣泡圖、力圖、平行座標圖等多維展示。
10. 如何從展現層面體現大資料安全分析的優勢?
應答：展現只是安全分析的最後結果呈現。大資料的安全分析的優勢的核心是在於安全分析模型。在展示層面的優勢完全來自於安全模型的定義，僅從展示層面不好說明其優勢。這主要是因為，在沒有大資料技術之前視覺化展示技術也在快速發展。
11. 當前作為大資料安全分析最常用的資料型別有哪些?
應答：ddos態勢感知、溯源模型，apt攻擊模型，資產脆弱性態勢感知，**脆弱性態勢感知等等。
12. 如果從專家系統、統計分析、機器學習三個維度實現大資料安全分析，是否已有相應的演算法或資料模型?
應答：這三個是不同的層面。
統計分析，通過簡單的統計進行資料的過濾與結果呈現。通常由非專業人員進行簡單的資料統計工作。能夠從巨集觀的角度發現一些問題，但是無法實現深入的資料探勘工作。為了應對這樣的實際情況，在業務系統中會建設資料倉儲，通過資料倉儲來實現資料探勘工作。但是由於建立資料倉儲費時費力，只有在大型集團企業中才會將其使用在安全領域。
機器學習，實際上是程式自我矯正，實現結果的準確性。這是乙個較為成熟的技術，在金融領域有很多成熟的案例。機器學習主要應用在難以人為劃定規則的領域，如異常流量監測，異常行為檢測等。通常使用在難以通過規則進行判斷的業務場景中。
在這三個層面都有成熟的演算法以及應用，並且都通過的實際場景的檢驗。
13. 關於apt攻擊、0day攻擊是否具備成熟的基於大資料的解決方案?
應答：apt攻擊一般按照攻擊鏈的方式進行攻擊。
攻擊鏈條分為三個階段：
1.威脅進入階段
2.威脅擴散階段
3.資料竊取階段。
apt攻擊檢測和防禦，重點在於前兩個階段，威脅嘗試進入和擴散，大資料分析利用威脅情報系統，對網路，郵件，安全，作業系統等層面的資料進行索引彙總，統計，關聯分析，來檢測進入企業的威脅。這是大資料分析在apt威脅檢測領域的應用。
對於0day漏洞，綠盟更多的利用部署在網路邊界的威脅分析系統進行實時監控，通過對樣本的靜態分析和動態分析，判斷是否存在威脅。經過樣本分析引擎進行分析後，可以獲得樣本是否利用了0day漏洞，根據樣本自身的信譽資訊，比如檔案簽名，樣本用到的回連cnc位址，可以借助大資料引擎，對當前的資料以及歸檔的歷史資料進行分析，定位和回溯受到影響的主機、使用者等資訊。
14. 對於已知的威脅模式，已實現的基於大資料的安全分析演算法或模型有哪些?(列舉usecasae)
應答：1)攻擊鏈關聯分析
同一資產，按照威脅檢測的時間進行分析，描述攻擊鏈條
2)歸併統計相同型別的攻擊事件進行合併，多對一統計，一對多統計
3)威脅情報關聯分析根據威脅情報，對當前的資料和歷史資料進行遞迴查詢，生成告警事件
4)異常流量學習正常訪問流量，當流量異常時進行告警
Oracle常見問題彙總
1 如果建立了多個oracle例項，那麼訪問em的時候預設訪問的是第乙個例項的，如何訪問第二個呢？看下這個檔案就會明白了 oracle home install portlist.ini enterprise manager console http 埠 shili1 1158 enterprise...
ab常見問題彙總
測試伺服器ab 被測試伺服器apache apache版本2.2.25 問題一 socket too many open files 24 解決 在測試伺服器操作 1 檢視當前系統設定 open files n 1024為1024 root localhost ulimit a core file ...
knn常見問題彙總
knn演算法又稱為k最近鄰 k nearest neighbor class ification 分類演算法。所謂的k最近鄰，就是指最接近的k個鄰居 資料 即每個樣本都可以由它的k個鄰居來表達。knn演算法的核心思想是，在乙個含未知樣本的空間，可以根據離這個樣本最鄰近的k個樣本的資料型別來確定樣本的...