yarn:yet another resource negotiator
核心概念:資源排程系統
功能:負責整個集群資源的管理和排程。
為上層應用提供統一的資源管理和排程。
多框架資源統一排程
yarn 架構:
1)resourcemanager: rm
整個集群同一時間提供服務的rm只有乙個,負責集群資源的統一管理和排程
處理客戶端的請求: 提交乙個作業、殺死乙個作業
監控nm,一旦某個nm掛了,那麼該nm上執行的任務需要告訴am來如何進行處理
2) nodemanager: nm
整個集群中有多個,負責自己本身節點資源管理和使用
定時向rm匯報本節點的資源使用情況
接收並處理來自rm的各種命令:啟動container
處理來自am的命令
單個節點的資源管理
每個應用程式對應乙個:mr、spark,負責應用程式的管理
為應用程式向rm申請資源(core、memory),分配給內部task
需要與nm通訊:啟動/停止task,task是執行在container裡面,am也是執行在container裡面
4) container
封裝了cpu、memory等資源的乙個容器
是乙個任務執行環境的抽象
5) client
提交作業
查詢作業的執行進度
殺死作業
總流程:
------>在nodemanager上啟動一些container來執行task
Docker 核心概念
1.docker映象 docker映象 image 類似於虛擬機器映象,可以將它理解為乙個面向docker引擎的唯讀模板,包含了檔案系統。例如 乙個映象可以只包含乙個完整的ubuntu作業系統環境,可以把它稱為乙個ubuntu映象。映象也可以安裝了apache應用程式 或使用者需要的其他軟體 可以把...
Elasticsearch核心概念
elasticsearch使用lucene作為其底層的搜尋引擎,關於lucene的介紹,可以參考官方 lucene關鍵概念 lucene使用inverted index來儲存term在document中位置的對映關係。譬如如下文件 使用inverted index儲存,乙個簡單地對映關係 term ...
webpack核心概念
1.manifest webpack中runtime和manifest主要用於管理所有模組的互動,主要是用於連線模組化應用程式的所有代 碼。runtime包含 在模組互動時,連線模組所需的載入和解析邏輯,包括瀏覽器中已載入模組的連線以及懶載入模組的執行連線。管理模組互動的流程 當編譯器 compil...