一直很困惑，為什麼在yarn上能執行storm，spark這樣的框架呢，他們是怎麼執行的呢，我想對這個有困惑的朋友應該不止我乙個，在這裡向大家推薦一本書：hadoop技術內幕-yarn詳解
第一點：什麼是分配資源，表面上將就是你可以使用的資源量，但在分布式系統中，你怎麼限制呢：其實分配的資源就是乙個個的key-value對：
cpu=1個
ram=2g
第二點：只是分配了，怎麼執行呢：這得益於jvm的好處，在jvm啟動的啥時候，我們可以設定其所占用的資源，而之上所講的key-vlaue在這裡也就變成了jvm的啟動引數了
特此宣告：在研究hadoop，spark這類框架的時候，只要涉及到資源的分配什麼的，這都是程序級別的事，執行緒和程序的區別說個通俗易懂的：程序就是記憶體區域，而執行緒是這塊記憶體區域中的執行**
MapReduce框架在Yarn上的詳解
在yarn 上乙個mapreduce 任務叫做乙個 job。乙個 job的主程式在 mapreduce 框架上實現的應用名稱叫 這是乙個mapreduce 為提高shuffle 效率reduce 階段會在 map階段結束之前就開始。直到所有 maptask 完成之後 reducetask 才能完成，...
MapReduce框架在Yarn上的具體解釋
在yarn 上乙個mapreduce 任務叫做乙個 job。乙個job 的主程式在 mapreduce 框架上實現的應用名稱叫 這是乙個mapreduce 為提高shuffle 效率reduce 階段會在 map階段結束之前就開始。直到全部 maptask 完畢之後 reducetask 才幹完畢。...
YARN上的計算框架大類概念
目前基於hadoop2.0執行在yarn上的計算框架大類 1.離線計算框架 mapreduce 2.dag計算框架 tez 3.流式計算框架 storm 4.記憶體計算框架 spark 將計算過程分成兩部分 map和reduce 輸入的資料集是靜態的，不能動態變化。map階段並行處理輸入資料 map...