Hadoop原始碼的疑問

2021-09-30 09:23:59 字數 437 閱讀 6629

記錄一下自己對於hadoop原始碼的問題,版本0.20.2。

1,在fifo演算法中,乙個job的status是什麼時候被設為running的?

2,《hadoop權威指南2nd》210頁關於「the relationship between input splits and hdfs blocks」這部分也不是很理解,textinputformat的getsplits()會呼叫父類fileinputformat的getsplits(),而fileinputformat.getsplits()是按資料塊大小生成split的,那圖7-3的split為什麼是按邏輯記錄生成了?像nlineinputformat是覆蓋了父類fileinputformat的getsplits()才可以改變split的。

3,《hadoop權威指南2nd》217頁mapfileoutputformat如何保證reduce輸出的鍵是有序的?

hadoop 原始碼筆記

public inte ce tool extends configurable public int run string args throws exception public static void main string args throws exception toolrunner執行...

Hadoop原始碼結構

hadoop專案已經得到社群以及行業內很多大牛的貢獻,現在版本已經推進到了1.0.0版本,本人以後將就當前1.0.0版本進行原始碼分析,如有重大特性更新的版本發布,會有相關的原始碼增補分析,多謝!bin 此目錄下為進行hadoop配置 執行以及管理的shell命令集合 c 此目錄下為linux下am...

Hadoop原始碼之JobTracker

jobtracker是map reducer中任務排程的伺服器。1 有如下執行緒為其服務 1 提供兩組rpc服務 intertrackerprotocol jobsubmissionprotocol 的1個listener執行緒與預設10個handler執行緒 2 提供任務執 況查詢的一組web服務...