繼續寫筆記，清清腦子
hadoop1.0的執行流程（我是搬運工。。。。。這段等我弄懂了再修改）：
首先使用者程式（jobclinet）提交乙個job，job的資訊會傳送到jobtracker中，jobtracker是map-reduce框架的中心，他需要與集群中的機器定時通訊（hearbeat），需要管理那些程式應該跑在那些機器上，需要管理所有job失敗、重啟等操作。
tasktracker是map-reduce集群中每台機器都有的乙個部分，他做的事情主要是監視自己所在機器的資源情況，tasktracker同時監控當前機器的tasks運**況。tasktracker需要把這些資訊通過hearbeat傳送給jobtracker，jobtracker會蒐集這些資訊已給新提交的job分配執行在那些機器上。
jobtracker在這裡簡直就是又當爹又當媽，又要分配資源，又要管理應用程式，又要處理異常，一旦jobtracker宕機出現單點故障，整個集群就要崩掉，這對生產環節來說簡直就是災難。jobtracker承擔了太多的負擔，也占用了很大的系統資源。並且在tasktracker端，以map/reduce task的資料作為資源的表示過於簡單，沒有考慮到cpu/mem的占用情況，如果兩個大記憶體消耗的task被排程到了一塊，很容易出現oom。而且把資源強制劃分為map task slot和reduce task slot，如果當系統中只有map task或者只有reduce task的時候，會變成資源的浪費，也就是出現集群資源利用的問題。
參考文獻：這個部落格將的比較詳細了
Yarn的體系結構和執行原理
yarn的體系結構和執行原理 執行mapreduce的容器 hadoop jar hadoop mapreduce examples 2.7.3.jar wordcount input data.txt output wc1206 1.主節點 resourcemanager 職責 接受任務請求 資源...
Oracle之體系結構
oracle資料庫是資料的物理儲存。包括 資料庫檔案ora或者dbf 控制檔案 聯機日誌 引數檔案 其實oracle資料庫的概念和其他資料庫不一樣，這裡的資料庫是乙個作業系統只有乙個庫。可以看作oracle就只有乙個大資料庫。乙個oracle例項 oracle instance 有一系列的後台程序 ...
MySQL之體系結構
1 本地socket連線方式 socket tmp mysql.sock mysql s tmp mysql.sock 2 遠端tcp連線方式 mysql uroot p123 h 192.168.159.51 p 3306 例項 mysqld 工作執行緒 預分配的記憶體結構 功能 管理資料 3.1...