該系統需要處理的內容列表如下：
1、nginx負責負載均衡
2、keepalived負責nginx的ha
3、redis主從節點複製
注：本次只有幾個節點使用redis，故未涉及redis集群
4、activemq集群
5、hadoop集群
注：本系統檔案的型別和大小比較複雜，主要使用hdfs的分布式檔案系統
6、https部署
7、tomcat優化
8、伺服器設定【redhat 6.5企業版】
9、jvm優化
專案整體架構圖如下：
當然，由於環境原因，並沒有考慮集群，整套系統的軟甲都以主從+ha的形式進行支援，後續的內容也主要從這個角度進行擴充套件
分布式系統概述
2分布式系統概述注 由於大資料技術領域的各類技術框架基本上都是分布式系統，因此，理解hadoop storm spark 等技術框架，都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組，各自執行在不同的機器上，子系統或模組之間通過網路通訊進行協作，實現最終的整體功能 比如分布式作業系...
分布式系統概述
2分布式系統概述 注 由於大資料技術領域的各類技術框架基本上都是分布式系統，因此，理解hadoop storm spark 等技術框架，都需要具備基本的分布式系統概念 該軟體系統會劃分成多個子系統或模組，各自執行在不同的機器上，子系統或模組之間通過網路通訊進行協作，實現最終的整體功能 比如分布式作業...
分布式系統 概述
分布式儲存系統是大量普通pc伺服器通過internet互聯，對外作為乙個整體提供儲存服務。特性 可拓展 低成本 高效能 易用。挑戰 資料 狀態資訊持久化 資料一致性。涉及到的技術 資料分布 一致性 容錯 負載均衡 事務與併發控制 易用性 壓縮 解壓縮。資料型別 非結構化資料 結構化資料 半結構化資料...