大資料安全分析的階段性建設，基於大資料的安全分析在國內已經火了一段時間，不同行業都在這方面有不少的投入，自建的大資料安全平台專案也屢見不鮮。具體有多少會如gartner的分析師anton chuvakin認為的那樣，大概率歸於失敗(why your security data lake project will fail： )，這是我們無法知道的。但是否有一條穩妥、堅實的路徑可以到達目標，也許更值得討論。
需要思考的問題
在曾經由被動防禦主導的建設階段裡，企業採購了很多防禦性安全產品(fw、ips、waf、漏洞掃瞄等)，其目的更多的是防禦或加固自身。威脅態勢的發展告訴企業，當前已經不能一味的停留在這個階段。持續投資在防禦上，不斷加高水桶的木板高度並不是最經濟、最有效的策略，蓄意的攻擊者總是能夠發現新的攻擊面，進入到企業內部。如何能夠盡早的發現這種有效滲透攻擊，進行響應分析、及時處理並進一步有針對性的彌補防禦的短板，這些將成為組織面對的新目標。此時大家注意到大資料這顆冉冉上公升的新星，就把希望寄託在這上面。不可否認，資料驅動確實是新時期安全建設的乙個關鍵因素，但我們也需要認識到，這種從單純防禦向防禦、檢測、響應、預防全週期轉變的過程，涉及到資料、工具和使用工具的人三方面的提公升，是個相對複雜的系統工程。必須理清幾方面的問題：
要監控的關鍵威脅是什麼?
涉及的分析方法有哪些、這些分析方法又需要哪些資料?
需要什麼樣的平台系統來支援分析工作，平台選擇的關鍵能力指標有哪些?
現有技術能力下建立起的平台，適合怎樣的人來使用，是否已經具備這樣的人員，是否能夠·購買相應的安全服務?
採集資料和人員水平受限情況下，如何選擇切實的目標保障有實際的效果?
在實際工作中，對這幾方面的認識往往需要乙個實踐摸索的過程，難以做到一步到位，就如facebook就在資料平台上有過不斷的摸索過程(it』s time to stop using hadoop for analytics： )。因此分階段實施，由易到難也許是乙個更好的方式。下面介紹可能涉及到的幾個階段，在實際工作中也許可以多個階段並行，但應該很難出現跳躍式的發展。
ioc情報階段
質量優秀的ioc情報(也稱失陷主機檢測情報)具有及時、全面、精準、具備相關性且提供指導響應活動的上下文這些特點。利用這類情報我們能夠盡早地檢測內部的失陷主機(無論來自情報機關、網路犯罪團夥或者網路恐怖主義團體)，並且基於情報的上下文(攻擊團夥、惡意型別、目的、危害等)確定合理的優先順序，及時的給予響應處置。
利用這種失陷ioc進行檢測發現，對組織的資料採集要求較低(一般就是http **日誌、dns日誌或者較完整的流量日誌);而一旦發現失陷主機，利用情報資訊可以較容易的進行優先順序排序、響應方案選擇等工作(情報的上下文會清楚地告訴安全響應人員，這是乙個針對個人使用者的網銀木馬，或者是乙個具有定向性質的竊密木馬，又或者只是乙個黑客用來進行ddos攻擊的殭屍網路)，因此它對於大多數組織而言，是乙個相對容易而又實實在在的進步。
利用成熟安全分析解決方案
利用ioc情報能力建設階段，可以在資料積累、安全響應分析方面積累一定的能力，獲得相應的經驗，再進一步就向前深入，就是利用較好的產品或解決方案來實現一些典型場景下的安全分析工作，這樣做的好處是聚焦問題的解決、有機會學習到業界成熟的經驗並且免於將自己陷入到工程開發細節的泥潭中。
這裡面講的較好，有兩個層次：
內建典型的分析場景：每個場景需要包括怎樣發現線索、怎樣排查確認、如何確定攻擊範圍和性質這些基本的步驟，簡單的說它就是將資深分析師的工作經驗整合到了產品當中，使安全運維人員在產品的引導下可以逐步學習、探索安全分析的世界。
進一步提供基於線索的優先順序排序：線索不是真正的攻擊事件，線索排查中會有一些對於組織的環境而言是不需要特別注意的，因此如果能基於一定的方式(規則組合、ml、貝葉斯演算法)對不同線索出現後，標識出線索聚合的風險程度，這對於分析人員無疑是非常有價值的。可以直接聚焦到高危報警。
這兩個層面可以說對應這安全分析的兩代產品，第一代中的典型代表是splunk的企業安全應用，而第二代則是exabeam這樣的ueba產品(之前介紹ueba的一篇文章 [**ueba]： )。組織基於自身關注的問題、資料能力以及人員水平，從某幾個典型威脅場景出發，選擇適合並有強擴充套件性的產品，就可以進行建立初步的平台了。需考慮的是，解決某些問題的資料來源，也許不是短時間就能採集到的，比如內部沒有很成熟的出差審批流程和電子流，就難以將差旅資訊作為ueba的乙個分析資料來源，但成熟的產品會考慮這種情況下如何檢測和判定風險級別。
利用運營級威脅情報階段
安全是乙個動態的過程，即使在採購階段選擇了較好的產品，但是針對新的攻擊方式我們還是需要建立新的分析場景，同時也包括一些關鍵威脅暫時沒有現成的分析場景可以覆蓋，也需要擴充套件分析場景。這個過程就需要建立從運營級威脅情報(威脅相關的技術、方法、過程的情報)到分析資料以及分析方法的對映。舉乙個簡單的例子：在2023年以前，可能很少有人會考慮分析powershell日誌的情況，並且也是powershell 5.0才引入了增強日誌功能，早期版本沒有太多的日誌能力。
因此在平台選型階段，需要考量產品/方案的開放性與可擴充套件性，同時也需要考慮建立自身的運營級情報收集能力。對比ioc情報，運營層面的威脅情報，現階段市場上並沒有足夠成熟的產品生態圈。如何及時獲取到有效的運營級情報，如行業分享、國家層面的通報共享或商業**，是這個階段的乙個重點。而資料和工具方面應該不再成為這個階段的重要挑戰。
自動化階段
在整個安全分析平台運營過程中，會發現其中很多任務作是高度一致的重複勞動，這種工作如何能夠自動化進行，就是這個階段考慮的事情。這裡面就包括更智慧型的事件調查，以及自動化的遏制(個人認為不是清除)。到了這個資料、檢測能力、ml能力都比較成熟的階段，我們也許可以將乙個攻擊可能的攻擊鏈、影響範圍通過自動化方式給出大致的範圍，極大縮短分析人員的工作強度。也有可能基於成熟的處置流程，明確地知道哪類事件可以通過自動化配置網路和終端裝置，達到自動化遏制的目的。這樣可以讓安全運營人員從既有的、缺乏挑戰的工作中釋放出來。這個階段可以使重要安全事件的響應時間和質量有巨大的提公升。
小結大資料安全分析能力建設是乙個分階段、逐步提公升的過程，對於一些有實力的組織可以同時進行多個階段的建設，但如果想一步到位無疑是不現實的。整個過程最關鍵的是問題思維：現階段要解決的問題是什麼，深入思考這個問題才能設立合理的階段性目標。威脅情報作為一條主線貫穿建設過程中，如果說資料是安全分析的基礎，那麼情報則是它的靈魂。
階段性總結 資料分析方法
目前大部分的企業領導都提過乙個詞 資料驅動 大家似乎都知道在目前的數字經濟概念下 資料 是時代和企業的新能源。很多網際網路公司或者相關企業都在擴建自己的資料中心，大的企業開始搭建自己的資料服務中臺，中小微或者創業型公司會購買價效比高，落地快的資料類產品。大體來說主要有兩個方向，1.偏底層基礎能力，搭...
Raytrace學習的階段性總結
最近乙個月一直在學習raytrace，從理論到 實現，之前最近才終於有了乙個比較完整的版本，遂打算把之前的一些學習經歷寫出來。raytrace又稱光線跟蹤，業界公認此演算法為turner whitted在1980年提出，而它本身又是由原來的光線投射演算法 ray casting 演變而來的，ray ...
階段性放棄 wxPython 前的總結
為了實現乙個管理本地電子書的程式，搞了一段時間 gui，使用 wxpython。實在難以適應和習慣，也搞不出什麼太好看的效果。最不能忍受的是，多執行緒處理能力太弱。遂決定放棄 gui。放棄之前，整理一點筆記。gui 的核心都是基於事件程式設計，開啟乙個loop，不停的監聽事件。監聽到事件以後，交給對...