一、yarn的配置
啟動命令
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
二、配置mapreduce
三、執行mapreduce程式案例
要求：寫mr程式的一定要有輸入和輸出的路徑
準備資料
hdfs建立測試目錄
hdfs上傳資料
$ bin/hdfs dfs -put /opt/datas/wc.input /user/beifeng/mapreduce/wordcount/input
input輸入路徑需要手動建立
output輸出路徑不需要去手動建立
mapreduce要求輸出路徑不能存在
執行wordcount程式
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input /user/beifeng/mapreduce/wordcount/output
mapreduce的輸出結果會對key進行排序
檢視 $ bin/hdfs dfs -text /user/beifeng/mapreduce/wordcount/output/part-r-00000
四、歷史伺服器
啟動命令：
$ sbin/mr-jobhistory-daemon.sh start historyserver
五、日誌聚集功能聚集的概念：
將mr程式執行時產生的日誌檔案傳到hdfs上對應的目錄中，然後我們就可以從外部頁面去檢視hdfs上儲存的資料。日誌聚集是yarn的**化的管理功能，日誌是有保留的期限的 。
配置檔案：yarn-site.xml
六、hdfs不進行使用者許可權檢測
配置檔案：hdfs-site.xml
表示是否啟用hdfs檔案系統的使用者許可權檢測功能
七、修改預設的靜態使用者名稱
配置檔案：core-site.xml
八、hdfs元資料
資料的屬性
名稱 位置
儲存的塊
在哪些節點上
…. hdfs塊的大小設定引數
dfs.blocksize
134217728
四個模組對應有四個不同的預設配置檔案
一定要記住：hdfs設計理念：一次寫入，多次讀取
九、secondarynamenode
hdfs格式化其實是對於namenode進行格式化
作用是：
產生hdfs初始的元資料，並儲存在本地系統檔案中，格式化之後會產生fsimage的檔案，namenode在啟動的時候就會去讀取fsimage檔案
fsimage：它是在namenode啟動時對整個檔案系統的快照
editlogs：它是在namenode啟動後對檔案系統的改動序列
namenode遇到的問題：
只有在namenode重啟的時候，fsimage和edit logs才會合併。導致edit logs檔案越來越大
edit logs檔案越來越大 如何去管理？
namenode重啟花費時間長，很多改動需要合併到fsimage上，如果namenode掛掉了，可能會造成丟失
secondarynamenode就是為了解決上述的問題
它的作用:***就是將editlogs合併到fsimage檔案中 ***
配置檔案：hdfs-site.xml
重啟：
十、hadoop本地庫
檢視系統目錄：
本地庫位置：
/opt/modlues/hadoop-2.5.0/lib下的native目錄
報錯原因：
是因為native下的檔案沒有生效引起的
檢視版本：
$ bin/hadoop version
版本不一致導致不能載入本地庫.
因此需要對hadoop原始碼包，進行編譯
Hadoop環境的搭建
格式化 bin hdfs namenode format可能遇到的問題 在建立臨時檔案的時候沒有許可權 解決方案 sudo chmod r a w opt namendoe 和datanode的都有乙個集群id不同的問題datanode是根據集群id去找集群。如果我們在啟動集群的時候，datanod...
Hadoop（二）Hadoop集群搭建
準備好三颱centos系統，配置如下 主機名centos1 centos2 centos3 ipcentos1的ip centos2的ip centos3的ip centos7修改主機名命令 hostnamectl set hostname 配置三個centos的ip對映，修改 etc hosts，...
hadoop環境搭建出core
問題簡介 搭建hadoop集群環境的過程中，主節點沒問題。datanode和tasktracker老是啟動不起來。具體現象 1 start.sh後datanode節點出core 2 日誌檔案說明 libhadoop.so 沒有 an unkown value 3 排查各種配置。4 最後通過網上查詢和...