mapreduce
來編寫程式，有乙個特定的流程。首先寫
map
函式和 reduce 函式，最好使用單元測試來確保函式的執行符合預期。然後，寫乙個驅動程式來執行作業，要看這個驅動程式是否可以執行，可以從本地
ide 用乙個小的資料集來執行它。如果驅動程式不能正確執行，就用本地
，盡可能正確地處理這些輸入。
hadoop
中，元件的配置是通過
hadoop
提供的
api 進行的。
configur
ation
類的例項(可以在
org.apache.
hadoop.
conf包中找到)代表配置屬性及其取值的乙個集合。
get ()方怯允許為 xml 檔案中沒有定義的屬性指定預設值。當多個據檔案被用來定義乙個配置時，後來新增到驚檔案的屬性會覆蓋 (override) 之前定義的屬性。然而，被標記為 final 的屬性不能被後面的定義覆蓋。配置屬性可以用其他屬性或系統屬性進行定義，系統屬性的優先順序高於原始檔中定義的屬性，配置屬性可以通過系統屬性來定義，前提是系統屬性使用配置屬性重新定義，否則，它們無掛通過配置 api 進行訪問。
為了簡化命令列方式執行作業，
hadoop
自帶了一些輔助類。
genericoptionsparser 乙個類，用來解釋常用的
hadoop
命令列選項.
如果處理過程更複雜，這種複雜度一般是因為有更多的
mapreduce 作業，而不是更複雜的
map reduce 函式。換而言之，通常是增加更多的作業，而不是增加作業的複雜度。 對於更複雜的問題，可考慮使用比
mapreduce
更高階的語言，如
pig hive
cascading
乙個直接的好處是:有了它之後，就用不著處理到
mapreduce 作業的轉換，而是集中精力分析正在執行的任務。
Hadoop 權威指南學習筆記（七）
計數器是一種收集作業統計資訊的有效手段，用於質量控制或應用級統計。計數器還可輔助診斷系統故障。hadoop 為每個作業維護若干內建計數器 以描述該作業的各項指標。在任務執行過程中，每個作業的所有任務的結果都會被任務計數器聚集起來。計數器由其關聯任務維護，井定期傳到 tasktracker 再由 ta...
《Hadoop權威指南》索引筆記
2015年5月2日 hadoop檔案格式 一 hdfs 1.hdfs一次寫入，多次讀取，每次分析應涉及大部分資料 批處理才有優勢 2.hdfs缺點 低延遲訪問 大量小檔案 使用者修改 3.hdfs塊大小 預設64m，但實際工作中往往調大 最小化定址開銷 但不能太大，一般乙個map處理乙個block，...
Hadoop 權威指南
rpm包和deb包是兩種linux系統下最常見的安裝包格式，在安裝一些軟體或服務的時候免不了要和它們打交道。rpm包主要應用在redhat系列包括 fedora等發行版的linux系統上，deb包主要應用於debian系列包括現在比較流行的ubuntu等發行版上。yum可以用於運作rpm包，例如在f...