1:安裝虛擬機器(略)
2:安裝必要的環境:安裝jdk
3:安裝hadoop
3.1上傳hadoop包
3.2解壓hadoop包
解壓:[hadoop@hadoop001 hadoop-2.4.1]$ ll
total 60
drwxr-xr-x. 2 hadoop hadoop 4096 jun 20 2014 bin
drwxrwxr-x. 4 hadoop hadoop 4096 jul 6 16:32 data
drwxr-xr-x. 3 hadoop hadoop 4096 jun 20 2014 etc
drwxr-xr-x. 2 hadoop hadoop 4096 jun 20 2014 include
drwxr-xr-x. 3 hadoop hadoop 4096 jun 20 2014 lib
drwxr-xr-x. 2 hadoop hadoop 4096 jun 20 2014 libexec
-rw-r--r--. 1 hadoop hadoop 15458 jun 20 2014 license.txt
drwxrwxr-x. 3 hadoop hadoop 4096 jul 7 15:52 logs
-rw-r--r--. 1 hadoop hadoop 101 jun 20 2014 notice.txt
-rw-r--r--. 1 hadoop hadoop 1366 jun 20 2014 readme.txt
drwxr-xr-x. 2 hadoop hadoop 4096 jun 20 2014 sbin
drwxr-xr-x. 4 hadoop hadoop 4096 jun 20 2014 share
bin :執行的指令碼
etc:配置檔案
share:jar包
doc:文件(可以是刪除rm-rfdoc)
lib:本地庫
include:跟本地庫相關的檔案
3.3配置hadoop偽分布式(要修改4個檔案)
第乙個:hadoop-env.sh
第二個:
core-site.xml(
啟動時)
fs.default.name
hdfs://hadoop001:9000
hadoop.tmp.dir
第三個:hdfs-site.xml
dfs.replication
1第四個:mapred-site.xml
mapreduce.framework.name
yarn
第五個:yarn-site.xml
yarn.resourcemanager.hostname
hadoop001
yarn.nodemanager.aux-services
mapreduce_shuffle
3.4將hadoop新增到環境變數
3.5格式化hdfs
hadoop namenode -format
3.6啟動hadoop
start-all.sh
3.7驗證集群是否啟動成功(有這5個就可以)
[hadoop@hadoop001 hadoop-2.4.1]$ jps
2750 secondarynamenode
2887 resourcemanager
2483 namenode
3926 jps
2570 datanode
3109 nodemanager
配置ssh免登陸(登入分為密碼登入和秘鑰登入,如果不配置秘鑰,預設的採用密碼登入)
生成ssh免登陸金鑰
ssh-keygen -t rsa
執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)
將公鑰拷貝到要免登陸的機器上
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
第一天筆記
ide integrated development environment 整合開發環境 常用開發環境有idle pythcharm wingide eclipse ipython 1.ctrl z 和回車 2.輸入quit 命令 3.直接關閉命令列視窗 ctrl c python中一切皆物件。物...
Linux第一天筆記
1 linux指一套免費使用和自由傳播的類unix作業系統。linux一切皆檔案!2 fsf free software foundation 自由軟體聯盟 gnu gun s not unix general public license gpl 3 linux核心版本格式是x.y.zz www,...
Oracel筆記第一天
oracel空間表的操作 sqlplus sys sys as sysdba mysql 乙個使用者 多個庫 表 oracel 乙個資料庫 多個使用者 表 建立表空間 create tablespace itheima10 建立表空間 datafile c itheima10.dbf 表空間的物理檔...