產品架構
各模組特點
1) proxy
2) kafka
kafka解析
terminology
kafka框架
如上圖所示，乙個典型的kafka集群中包含若干producer（可以是web前端產生的page view，或者是伺服器日誌，系統cpu、memory等），若干broker（kafka支援水平擴充套件，一般broker數量越多，集群吞吐率越高），若干consumer group，以及乙個zookeeper集群。kafka通過zookeeper管理集群配置，選舉leader，以及在consumer group發生變化時進行rebalance。producer使用push模式將訊息發布到broker，consumer使用pull模式從broker訂閱並消費訊息。
3) audit-server
一致性hash
在分布式集群中，對於機器的新增和刪除已經故障機器自動脫離集群不影響服務是分布式集群的最基本的功能。本次審計服務採用一致性hash完成這種基本功能。
具體描述如下：按照常用的hash演算法來將對應的key雜湊到乙個具有2^32次方個桶的空間中，即0~(2^32)-1的數字空間中，也就是將object1，object2, object3, object4 四個（假設有四個例項物件）例項物件通過hash 雜湊到hash環上。如圖（來自於網路）
同時將三個服務節點（假設三個服務節點），通過hash也雜湊到hash環上。如圖（來自於網路），通過找出距離自己最近的node節點，即可找到服務節點。
在服務節點新增刪除或故障時例項物件都會自動的調整找到距離自己最近的服務節點進行審計服務。
同時，在引入audit-server路由時，我們發現node服務節點分布越均勻，每個服務節點的負載也就越均勻。這裡引用了虛擬節點來解決這一問題。
審計策略
多併發協程
故障優化
提供了高效能、高可靠、易用、便捷的mongodb集群服務，每乙個例項都是至少一主一從的副本集或者包含多個副本集的分片集群。
整合了備份、擴容等功能，盡可能的保證使用者資料安全以及動態伸縮能力
當然，為了使用者的安全考慮，我們所有的資料，都是需要使用者主動開啟審計的前提下，才會記錄流水資料，並對資料進行過濾和儲存。
使用雲資料庫mongodb服務的好處：
高效能：集中安裝專用高效能儲存伺服器（高記憶體全ssd機型）來支援海量訪問。
省心：提供7×24小時的專業服務，擴容和遷移對使用者透明且不影響服務。提供全面監控，可隨時掌控mongodb服務質量。
騰訊雲TDSQL審計原理揭秘
作者簡介 產品架構 各模組特點 1 proxy 2 kafka kafka解析 terminology kafka框架 如上圖所示，乙個典型的kafka集群中包含若干producer 可以是web前端產生的page view，或者是伺服器日誌，系統cpu memory等 若 roker kafka支...
騰訊雲TDSQL審計原理揭秘
作者簡介 產品架構 各模組特點 1 proxy 2 kafka kafka解析 terminology kafka框架 如上圖所示，乙個典型的kafka集群中包含若干producer 可以是web前端產生的page view，或者是伺服器日誌，系統cpu memory等 若 roker kafka支...
騰訊雲偷襲騰訊雲
43次攻擊全部失敗？e.m盯著電腦螢幕上的黑白 眉頭緊皺，陷入了沉思。按照計畫，這次應該是十拿九穩的定局。團隊在半個月內挖掘出的漏洞，原本是e.m最大的信心 根據掌握的情報，他畫了一張攻擊藍圖，而攻擊的起點正是對方的漏洞。如今，幾乎所有的漏洞都不能利用，讓這一場 秘密行動 陷入了僵局。時間回到九月份...