mapreduce核心程式設計思想，如圖1-1所示。
圖1-1 mapreduce核心程式設計思想
1）分布式的運算程式往往需要分成至少
2個階段。 2
）第乙個階段的
maptask
併發例項，完全並行執行，互不相干。 3
）第二個階段的
reducetask
併發例項互不相干，但是他們的資料依賴於上乙個階段的所有
maptask
併發例項的輸出。 4
）mapreduce
程式設計模型只能包含乙個
map階段和乙個
reduce
階段，如果使用者的業務邏輯非常複雜，那就只能多個
mapreduce
程式，序列執行。
總結：分析
wordcount
資料流走向深入理解
mapreduce
核心思想。
Kafka核心思想
kafka是2010年12月份開源的專案，採用scala語言編寫，使用了多種效率優化機制，整體架構比較新穎 push pull 更適合異構集群。設計目標 1 資料在磁碟上的訪問代價為o 1 2 高吞吐率，在普通的伺服器上每秒也能處理幾十萬條訊息 3 分布式架構，能夠對訊息分割槽 4 支援將資料並行的...
Spring核心思想
spring三大核心思想分別是 控制反轉 ioc 依賴注入 di 面向切面程式設計 aop ioc 控制反轉 將元件間的關係從程式內部轉移至外部容器 xml檔案 中進行管理。di 依賴注入 元件間的依賴關係由系統執行期間決定。外部容器將帶有依賴關係的目標物件例項動態注入到系統中的各個元件中。ioc與...
ERP的核心思想
erp enterprise resource planning，企業資源計畫系統 的概念，是美國gartner group公司於1990年提出的，其確切定義是 mrp 企業製造資源計畫 下一代的製造業系統和資源計畫軟體。除了mrp 已有的生產資源計畫，製造 財務 銷售 採購等功能外，還有質量管理，...