大資料絕對可以算得上當下的流行話題，購物要大數、出行要大數、看病要大數、上學要大數……，好像什麼行業都能與大資料搭上邊，又似乎一切都可以大資料了。對於經歷過多年企業資訊化的傳統企業來說，大資料對於他們既清晰、又迷茫，他們有過資料倉儲、資料探勘、商業智慧型（bi）概念的洗禮，但又看不懂「大資料」與之前的概念有哪些不同。
一．業務資料市場，讓業務資料變得開放透明。
業務資料是分析的源泉，沒有資料就談不上大資料。企業經過多年的資訊化建設，一般都會有多套業務系統在執行，如辦公自動化系統（oa）、財務管理系統、erp系統等不一而足，但這些業務系統都是孤島式隔離，資料缺乏整合，而且底層資料庫都是經過專業設計、複雜度較高，非廠家技術人員難以使用，通常都是利用定製報表的方式進行分析和使用。因此，在利用資料上存在著資料提取難度高、報表需求響應慢、資料準確性差等問題。
產生上述問題的原因在於，傳統資料結構複雜，對業務人員不開放，利用報表的方式提供資料時，需求人員期望的資料與技術人員提供的報表之間存在著巨大的鴻溝。建設業務資料市場就是將各業務系統的資料進行抽取、清洗、整合之後，按照業務過程重新進行整合，封裝為統一粒度、統一維度的資料庫表。這些資料表的特點就是能被業務人員所理解並解讀分析，這樣業務人員可以在較早期就發現資料中間存在著的問題。在建設資料市場的過程中，有幾點需要特別注意：
l採用維度建模方法，以「易懂性、易用性」為原則。業務資料市場的資料是供企業分析人員使用，他們更多的是不懂技術的業務人員，資料結構應該符合多數人的直覺，而非像傳統「三正規化」那樣，需要借助複雜的er圖才能表述清楚。對於專業的it人員，尤其是要抵制將維度模型設計成「雪花模型」以節省資料重複、增加靈活性的**，從而帶來模型複雜性的代價；
l全面梳理業務，實現資料的互聯互通。傳統企業的業務系統，多數是煙囪式的軟體系統，若不在企業層面進行業務梳理，就不能很好地對資料進行整合，提取有價值的資訊。在整合資料的過程中，必須要有統一的維度才能有效實現資料整合，比如，統一的客戶編碼、身份證號等，所以梳理企業層面的統一維度是實現資料整合的關鍵步驟；
l分主題、穩步推進。企業運營涉及的業務過程眾多，眉毛鬍子一把抓是不可能的。在建設企業資料市場時，要根據企業的特點，優先建設對運營最重要的業務，盡快投入使用，逐步完善，比如，乙個銷售類的企業可以先將訂單業務整合起來；
二．分析工具市場，打造適合需要的分析框架。
資料是一座金礦，但還需要依賴好的工具才能將金子提煉出來。直接分析原始資料雖然靈活，但更加適用於高水平的人員，對於大多數的一線員工，應該提供更加易用的分析工具，如報表、圖表、報告等，將業務指標以形象的方式展現出來。分析工具市場就是企業內部匯集分析工具的地方，提供給員工根據自身情況使用。
分析工具市場包含兩部分功能，一是製作分析工具的開發平台，一是執行分析工具的門戶平台。在建設分析工具市場的過程中，有幾點需要注意：
l分析工具市場建設。從技術角度來看，分析工具市場可以找到眾多的軟體系統滿足需求，企業可以根據實際情況，或採購、或使用開源，搭建這麼一套軟體系統，既能讓企業自己定製報表、分析圖表，也能將製作好的分析報表展現出來；
l分析工具的開發以企業自身為主，外購為輔。分析工具與業務特點、與人員使用習慣等因素緊密關聯，其需求變化頻率高，全部依賴外部廠家開發，則一方面費用較高，另一方面需求響應也不及時，可能等開發出來，分析的需求卻沒有了，因此企業要培養自己的開發隊伍，可以利用資料市場中的資料開發出各類查詢報表、分析圖表等；
三．分析觀點分享平台，讓資料分析社交化。
大資料時代，在資料充裕的同時，帶來了有價值分析結果的匱乏。資料分析，絕對不是高高在上的陽春白雪，而是需要人人參與、百家爭鳴的氛圍，要在企業內部樹立人人都是分析師的理念。
l人員關注機制。由於企業運營不同於網際網路，存在著一定的封閉特性，不建議採用微博關注的開放性，而應該採用朋友圈類似的「關注－同意」的朋友機制，避免不適當的關注帶來的資訊洩露；
l分享範圍控制。由於企業資料的特殊性，員工在分析觀點的時候需要控制分享範圍，避免機密資訊的洩露。控制分享範圍，既要有人工控制，也要從平台層面通過許可權控制，如財務資料的分享範圍僅限某幾個部門或人員等；
l分享觀點排序演算法。綜合多種因素對發表出來的觀點進行排序，以便讓展現到每個人眼前的都是最符合期望的內容，營造乙個良好的分享環境，避免劣質內容驅逐優質觀點給生態圈帶來的毀滅性打擊。
相信企業通過建設「兩個市場，乙個平台」，一定可以充分發現資料價值，在大資料的浪潮中游刃有餘，真正實現資料運營、科學決策的管理模式，避免經驗決策帶來的錯誤。
當網路安全遇上大資料分析（6）
本文繼續亂彈 bda從一般意義上，或者從技術層面可以劃分為資料獲取 資料整理 資料實時分析 資料儲存 資料檢索 資料歷史分析 資料視覺化。而從bda的應用層面，可以應用到網路安全領域，這時候又可以劃分為安全事件管理 apt檢測 到0day 惡意 分析 網路取證分析，到網路異常流量檢測 安全情報分析 ...
當網路安全遇上大資料分析（9）
2012年3月份，gartner發表過一篇報告 information security is becoming a big data analytics problem 裡面主要就講到了針對大規模安全資訊的關聯 分析和挖掘。在gartner看來，bda改變的不僅是siem，包括了所有的安全技術，成...
當網路安全遇上大資料分析（10）
這篇tt安全發表的譯文講到了在gartner的2012年安全和風險管理峰會上neil macdonald對於bda的一些觀點。這些觀點是他對於bda的一系列看法的一部分，例如他早前發布的乙份研究報告 information security is becoming a big data analyt...