hadoop原始碼研究 2

2021-06-19 12:13:28 字數 305 閱讀 8062

job繼承自jobcontext,提供了一系列的set方法,用於設定job的一些屬性(job更新屬性,jobcontext讀屬性),同時,job還提供了一些對job進行控制的方法,如下:ll

reduceprogress:reduce的進度(0—1.0);

liscomplete:作業是否已經完成;

lissuccessful:作業是否成功;

lkilljob:結束乙個在執行中的作業;

lgettaskcompletionevents:得到任務完成的應答(成功/失敗);

lkilltask:結束某乙個任務;

hadoop原始碼研究 M R 1

inputformat 將輸入的資料集切割成小資料集 inputsplits,此外 inputformat 中還提供乙個 recordreader 的實現,將乙個 inputsplit 解析成 對提供給 map 函式。預設 textinputformat 針對文字檔案,按行將文字檔案切割成 inpu...

hadoop 原始碼筆記

public inte ce tool extends configurable public int run string args throws exception public static void main string args throws exception toolrunner執行...

Hadoop原始碼結構

hadoop專案已經得到社群以及行業內很多大牛的貢獻,現在版本已經推進到了1.0.0版本,本人以後將就當前1.0.0版本進行原始碼分析,如有重大特性更新的版本發布,會有相關的原始碼增補分析,多謝!bin 此目錄下為進行hadoop配置 執行以及管理的shell命令集合 c 此目錄下為linux下am...