對整個資料集進行處理
隨時處理進入系統的資料，無資料邊界
同時批處理和流處理
map task
reduce task
container–是一組資源描述的集合，或資源分組描述。例如組1包含：cpu 0.2 mem 100m
ha資料共享方法
namenode維護兩個檔案
editlog
active namenode與standby namenode之間通過journalnode相互通訊，相當於nfs共享檔案系統，active namenode 王里寫editlog資料，standby在從裡面讀取資料進行同步
組成
大資料運維 大資料平台 海量資料
大資料技術很早就在bat這些公司生根發芽，但直到14 15年大資料技術才廣泛應用在各大網際網路公司，大資料技術由此深入各行各業。此時大資料開發人才非常緊缺，很多公司大資料從立項，到大資料平台構建，到專案整個流程開發，到後期大資料專案的運維，都是由大資料開發人員一手完成 此時少有專業大資料運維人才 但...
大資料運維 結語 大資料運維，大有作為
高俊峰 南非螞蟻 你好，看到這裡，恭喜你學完了本專欄的全部內容。本專欄的定位是零基礎入門大資料運維，所以你學習的內容更多是關於大資料平台各個元件的安裝 部署和配置，這些技術看似簡單，但操作起來，其實一點也不簡單。大資料平台中涉及的技術，都需要 理解原理 執行機制 才能順利完成配置，也只有完成了安裝部...
資料庫運維平台
資料庫運維平台inception web 版安裝 前言 inception是集審核sql 執行sql 回滾於一體的乙個自動化資料庫 運維系統 環境 系統 centos 6.8 ip 192.168.137.38 python python2.7 部署步驟 cd usr src wget unzip ...