本系列文章用來記錄搭建網路流量大資料平台的過程，後續可能還會寫關於做流量分析的部分。
廢話不多說，直接開始。
總體架構圖如下：
使用的軟體版本如下：
因為流量採集使用了乙個開源工具，對流量進行了初步的協議解析，所以傳入我們系統的是兩種流量資料：已知協議資料、未知協議資料。
已知協議：資料來源直接傳給我們解析後的json格式檔案。包括的已知協議有http, http/2, ssl, tls, smb, dcerpc, smtp, ftp, ssh, dns, modbus, enip/cip, dnp3, nfs, ntp, dhcp, tftp, krb5, ikev2, sip, snmp, rdp, rfb, mqtthttp, http/2, ssl, tls, smb, dcerpc, smtp, ftp, ssh, dns, modbus, enip/cip, dnp3, nfs, ntp, dhcp, tftp, krb5, ikev2, sip, snmp, rdp, rfb, mqtt等。
比如dns的schema如下：
2.未知協議
未知協議這邊流量採集後直接傳原始的pcap包，所以需要我們自己解析成對應格式，這個格式就需要根據後續的流量分析確定，可能是從flow的角度來分析，也有可能是session。
總結一下，資料來源傳過來兩種資料，我們系統的功能就是去實時解析處理並且持久化入庫。
下一步介紹一下相應的資料流業務…
python資料分析 網路流量的一些特性
網路流量自相似性 赫斯特指數 英語 hurst exponent 以英國水文學家哈羅德 赫斯特命名，起初被用來分析水庫與河流之間的進出流量，後來被廣泛用於各行各業的分形分析。現實與理想 諸多市場異象的發現使人們對有效市場假說的質疑愈發深重，這些異象主要集中在 收益分布正態性 波動率與時間長度冪率關係...
EXCEEDDATA 工程大資料分析平台
在此背景下，整車廠研發部門關心的是 如何將企業內部的研發 實驗 測試 生產資料，社會使用者的用車資料，網際網路第三方資料等結合起來，將異構資料和同構資料整合到一起，並在此基礎上，實現業務系統 分析系統和服務系統的一體化 怎樣利用深度的駕駛員行為感知 智慧型的車輛預防性維護 與實時的環境狀態互動，通過...
大資料分析平台 專案2
注意的點 為什麼這麼寫？能不能加些其它的列操作？資料！什麼樣的資料！object模組下建立object main模組 建立usersession object類 思路 session的步長和時間 我從首頁進入到商品詳情到購物車 使用者到底跳轉了多少頁面就是步長 當這個資料統計之後 這個使用者在網頁中...