hive架構原理簡析 mapreduce部分

整個處理流程包括主要包括，語法解析（抽象語法樹，ast,採用antlr），語義分析(sematic analyzer生成查詢塊)，邏輯計畫生成（op tree），邏輯計畫優化,物理計畫生成（task tree），以及物理計畫執行組成。

下面這張圖（不知道是誰畫的）簡要的說明了整個處理的流程

這裡重點說一下物理計畫生成，以及執行。

物理計畫的生成是根據邏輯操作樹（operator）來生成的，物理計畫由task物件執行的，每個task有乙個woker物件，work代表物理計畫的描述。

主要有fetchwork，movework，mapredwork，copywork，ddlwork，functionwork，explainwork，conditionalwork

物理計畫的執行，是針對每乙個物理計畫而呼叫execute方法。

主要有fetchtask，conditionaltask，copytask，ddltask，explaintask，mapredtask，movetask

其中mapredtask實現的功能是mapreuce的客戶端，它根據woker的描述mapredwork，生成乙個plan xml檔案，作為hadoop jar [params]相關的命令引數，傳遞給

下面這張圖比較清晰的說明了在mapreduce的過程中資料的處理過程：

fileformat，需要在定義table時，指定資料的儲存格式（store as ），比如textflle,sequencefile,rcfile等，當然可以自定義資料儲存的格式（store as row format ），

資料的儲存格式fileformat主要是進行record（writable）在檔案中是如何儲存的，在map時提供檔案的讀，reduce時提供檔案的寫。

serde，資料的格式轉換，writable到operator所用的object之間的轉換。