總結mapreduce執行的三種模式：
1.可以執行在本地，在單機模式情況下，輸入輸出檔案在本地系統中；
2.執行在本地，輸入輸出的檔案在hdfs檔案系統之中（開發mapreduce時，常見的一種測試bug的方式）；
3.執行在分布式資源管理系統yarn之上，輸入輸出的檔案存放在hdfs檔案系統中。
乙個hadoop偽分布式環境中，服務元件，基本的配置：
hdfs: namenode（管理檔案系統元資料）
datanode（實際儲存資料）
secondarynamenode（輔助namenode進行工作）
yarn: resourcemanager（管理整個集群的資源）
nodemanager（管理每個節點的資源）
mapreduce: jobhistoryserver（管理監控mapreduce歷史服務執行狀態）
啟動關閉各服務順序：hdfs->yarn->mapreduce
命令：
[root@hadoop-yarn hadoop-2.6.5]# sbin/hadoop-daemon.sh start namenode/datanode/secondarynode
[root@hadoop-yarn hadoop-2.6.5]# sbin/yarn-daemon.sh start resourcemanager/nodemanager
[root@hadoop-yarn hadoop-2.6.5]# sbin/mr-jobhistory-daemon.sh start historyserver
hdfs-site.xml
dfs.permissionsname>
falsevalue>
property>
Hadoop學習筆記 8
倒排索引是文件檢索系統中最常用資料結構。根據單詞反過來查在文件中出現的頻率，而不是根據文件來，所以稱倒排索引 inverted index 結構如下 這張索引表中，每個單詞都對應著一系列的出現該單詞的文件，權表示該單詞在該文件中出現的次數。現在我們假定輸入的是以下的檔案清單 t1 hello wor...
Hadoop 配置yarn常見錯誤
hadoop環境為一主三從，在namenode上啟用yarn，配置yarn site.xml，三個從節點yarn site.xml配置檔案為空。yarn site.xml的內容如下 yarn.nodemanager.aux services mapreduce shuffle yarn.nodema...
8 hadoop學習筆記02
一 hdfs架構 主從結構 1 namenode nn 名稱節點 a 檔案的名稱 b 檔案的目錄結構 c 檔案的屬性 許可權 副本數 建立時間 d 乙個檔案被對於切割哪些資料塊 包含副本數的塊 對應分布在哪些datanode blockmap塊對映 nn是不會持久這種對映關係的。是通過集群的啟動和執...