kafka介紹
每個分割槽有乙個伺服器充當「領導者」,零個或多個伺服器充當「追隨者」。領導者處理分割槽的所有讀寫請求,而跟隨者則被動地複製領導。如果領導失敗,其中乙個追隨者將自動成為新的領導。每個伺服器都充當一些分割槽的領導者和其他分割槽的跟隨者,因此負載在集群中是很好的平衡。
由生產者傳送到特定主題分割槽的訊息將按傳送順序追加。也就是說,如果記錄m1是由記錄m2的同乙個生產者傳送的,並且首先傳送的是m1,那麼m1的偏移量將低於m2,並且出現在日誌的前面。
使用者例項按記錄在日誌中的儲存順序檢視記錄。
對於具有複製因子n的主題,我們將容忍最多n-1伺服器故障,而不會丟失提交給日誌的任何記錄。
流處理框架:storm,samza
生態系統:hadoop生態圈,spark生態圈,kafka生態圈;
web services理論知識
web服務作為一種能夠快速整合應用的技術,如果與非同步傳輸進行組合,就將為構建企業級應用提供所需的可靠性。在本文中,我們嘗試用兩種設計方法來部署和訪問非同步web服務 通過使用 apache axis 在第一種方法中,用websphere mq support pac ma0r來提供mq傳輸 利用w...
理論知識總結
軟體定義 程式 資料結構 文件。軟體危機 落後的軟體生產方式無法滿足迅速增長的計算機軟體要求,從而導 致軟體開發與維護過程中出現的問題。軟體工程 方法 工具 過程。軟體生命週期模型 瀑布模型,v模型,迭代模型。軟體測試是對軟體需求分析 設計 編碼的最終複查的一系列過程,是軟體質量保證的關鍵步驟 目的...
天線理論知識
zigbee 1為乙個預估的exel ti提供的基於friis等式和二維反射平面模型計算的,通過理論計算可得到傳輸的理論距離。影響通訊距離有如下主要的指標 頻段選擇 選擇的通訊頻段越高,通訊距離越短。頻段越低天線越難設計。發射功率 發射功率越大,通訊距離越遠,與此同時,板子的功耗也越高,正常情況下,...