一 背景
本地模式,uber模式,non-uber模式.
對於小作業,為了降低其延遲,可採用uber模式,該模式下所有map 任務和 task 任務都會在同乙個container中啟動,然後順序執行。不會分別分配乙個container。
二 uber模式
那什麼作業屬於小作業呢?
#map task數目不超過mapreduce.job.ubertask.maxmaps,預設是9個
#reduce task數目不超過mapreduce.job.ubertask.maxreduces, 預設是1個。
#檔案大小不大於mapreduce.job.ubertask.maxbytes,預設是乙個block的大小(128m)
#鏈式作業也不允許執行在uber模式
三 non-uber模式
#pending: 剛啟動但是尚未向rm傳送資源申請
#scheduled: 已經向rm傳送資源申請,但是rm還尚未分配到資源
#assigned: 已經分配到了資源,且正在執行
#completed: 已經執行完成
對於maptask,只有三種狀態:
scheduled=> assigned => completed
對於reducetask有四種狀態:
pending=> scheduled => assigned => completed
reducetask啟動時機
#mapreduce.job.reduce.slowstart.completedmaps: 當map task完成的比例達到該值之後,才會為reducetask申請資源,預設是0.05
uber獎勵和賬單詳解
為了讓各位車主輕鬆理解獎勵政策和賬單明細的核算方法,我們特意製作 獎勵詳解 的專題文章,保證您五分鐘內掌握看懂賬單的全部要領和訣竅。第一部分 收入說明 看懂了熟悉的賬單,我們再來以小紅車主為例子,看雜項到底是怎麼計算的。注意 小紅當周評分4.9,成單率84 第二部分 保底獎勵詳解 問 小紅七點鐘開始...
設計模式 21 中介者模式
中介者模式 用乙個中介物件來封裝一系列的物件互動 中介者 就像我們在租房子一樣,有租房子的中介 抽象中介者 mediator package com.actionpattern.intermediary.edition1 抽象中介者 mediator public abstract class me...
設計模式17 中介者模式
中介者模式 mediator pattern 是用來降低多個物件和類之間的通訊複雜性。這種模式提供了乙個中介類,該類通常處理不同類之間的通訊,並支援松耦合,使 易於維護。中介者模式屬於行為型模式。不應當在職責混亂的時候使用。建立中介類 聊天室,負責傳送通訊 include include inclu...