最近在使用hadoop處理日誌統計相關欄位的頻率與數量，目前只有乙個輸入檔案900m ，需要處理到任務有4個，分別是統計ip，http 狀態碼，響應時間，已經介面到總頻次。
開始想到到是使用作業鏈到方式，但是考慮io和網路資料傳輸到限制，最總選擇使用作業歸併來處理。
自己理解中到作業歸併：
作業歸併優點：資料只需要載入一次和解析一次
與作業鏈比較，將多個map使用乙個map來進行處理同時將多個reduce同樣歸為乙個reduce來處理。
主要注意：
（1）：map階段處理好不同任務到tag
（2）：考慮這些任務是否具有相同到中間鍵和輸出格式。因為他們是共享管道
主要步驟：
（3）：在reducer中，使用tag進行相對應到reducer**到執行
(4） :使用multipleuts將作業輸出分開
不同Hadoop模式下，Hive元資料檔案儲存位置
假如在hive的配置檔案hive site.xml中，屬性hive.metastore.warehouse.dir被設定為 root hive warehouse。如果hadoop是本地模式，則倉庫路徑是file root hive warehouse 其他模式則是hdfs namenode ser...
hadoop元資料合併過程 hadoop各種流程
元資料合併流程 hdfs的讀寫過程 shuffle過程 job提交流程 元資料合併流程 checkpoint edits 日誌的元資料 fsimage 映象的元資料 1 snn會向namenode傳送元資料是否合併的檢查 1min檢查一次 2 namenode需要元資料合併 會向snn進行相應 3 ...
黑馬程式設計師匠心之作 4 4友元
全域性函式訪問類中的私有成員 void goodfriend building b void test01 int main 4.4.2類做友元 include include includeusing namespace std class building class goodfriend cl...