hadoop的集群安裝
1、安裝jdk,解壓jar,配置環境變數
1.1、解壓jar
tar -zxvf jdk-7u79-linux-x64.tar.gz -c /opt/install //將jdk解壓到對應的檔案目錄下
1.2、配置環境變數,
sudo vim /etc/profile
//新增下面內容:export j**a_home=/opt/install/jdk1.7.0_79
export path=$j**a_home/bin:$path
2.1、解壓jar
tar -zxvf hadoop-1.2.1.tar.gz -c /opt/install //將jar解壓到對應的目錄下面
2.2、配置環境變數
sudo vim /etc/profile
//新增hadoop_home變數,修改path變數export hadoop_home=/opt/install/hadoop
export hadoop_home_warn_suppress=1 //防止hadoop在操作的時候有警告
export path=$j**a_home/bin:$hadoop_home/bin:$path
2.3、配置hadoop檔案
2.3.1、修改hadoop/conf/hadoop-env.sh
//將j**a_home修改為在/etc/profile中配置的環境變數export j**a_home=/opt/install/jdk1.7.0_79
2.3.2、修改hadoop/conf/core-site.xml
fs.default.name //namenode所在主機hdfs:
:9000
hadoop.tmp.dir //hadoop的臨時檔案目錄
/opt/data/hadoop1.2
2.3.3、修改/hadoop/conf/hdfs-site.xml
dfs.replication //副本數3dfs.permissions //檔案許可權
false
2.3.4、修改/hadoop/conf/masters檔案,該檔案配置的secondnamenode所在位置
192.168.203.128 //自己的主機ip,最好是修改/etc/hosts檔案
2.3.5、修改hadoop/conf/sl**es,該檔案配置的datanode
192.168.203.129192.168.203.130
192.168.203.131
2.3.6、修改/hadoop/conf/mapred-site.xml檔案,設定jobtrocker
mapred.job.tracker192.168.203.128:9001
2.3.7、在其他機器上也進行相同的配置,但是最好是在配置好ssh以後通過 scp的命令進行複製。
3、配置ssh免密碼登入
3.1、檢視本地是否能夠ssh免密碼登入
ssh localhost
3.2、如果需要密碼就要生成金鑰,
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3.3、配置遠端免密碼登入,讓配置namenode主機能夠免密碼登入到datanode主機
scp ~/.ssh/id_dsa.pub [email protected]:~ //將本機的公鑰複製到192.168.203.129這台主機上cat ~/id_dsa.pub >> ~/.ssh/authorized_keys //在192.168.203.129的主機上執行這條命令,追加公鑰到authorized_keys
4、啟動hadoop
4.1、跳轉到/hadoop/bin目錄下,進行namenode的初始化
hadoop namenode -format
4.2、啟動hadoop
./start-all.sh //啟動hdfs已經mapreduce或./start-dfs.sh //啟動hdfs
4.3、檢驗是否啟動成功,執行jps命令,看namenode,secondnamenode,。。。等程序是否啟動
5、通過hdfs的命令列進行操作,下面是一些簡單的命令
hadoop fs -ls /根目錄hadoop fs -lsr /遞迴遍歷根目錄
hadoop fs -mkdir /user 建立資料夾
hadoop fs -put 檔案 hdfs folder 上傳檔案,如果資料夾路徑不存在,檔案名字就是定義的名字
hadoop fs -text 檢視檔案內容
hadoop fs -rm 刪除檔案
hadoop fs -rmr 刪除資料夾
hadoop fs 顯示hdfs檔案相關引數
hadoop fs -help ls 命令描述
hadoop集群lzo的安裝
主要步驟 1,安裝和更新gcc ant 系統已經安裝的話,略去下面步驟 yum y install gcc gcc c autoconf automake wget tar jxvf apache ant 1.8.2 bin.tar.bz2 export ant home usr local apa...
Hadoop集群MYSQL的安裝
前言 有一段時間沒寫文章了,最近事情挺多的,現在咱們回歸正題,經過前面四篇文章的介紹,已經通過vmware安裝了hadoop的集群環境,相關的兩款軟體vsftp和securecrt也已經正常安裝了。本篇主要介紹在大資料應用中比較常用的一款軟體mysql,我相信這款軟體不緊緊在大資料分析的時候會用到,...
hadoop安裝集群完畢
今天經過一天的努力 終於將hadoop集群搭建完畢 一共三颱機器 一台namenode 兩台datanode 其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker 和hadoop官方文件和同事搭建的例子 安裝過程中也遇到很多問題 1...