CentOS下的Hadoop安裝教程

2021-07-30 15:35:34 字數 2407 閱讀 4532

首先答謝:感謝給力星所寫文章的幫助

本安裝教程分為兩大塊內容,一是基本的安裝步驟,二是查閱的命令解釋等,以期達到知其然亦知其所以然的目的

一、基本的安裝步驟

1)建立hadoop使用者,2)準備工作,3)安裝hadoop

1 建立hadoop使用者,還牽扯到為hadoop使用者增加管理員許可權的知識

1)如果沒有已建立好的hadoop使用者,則使用root許可權登陸,來建立這個使用者,**如下:

su root  //以root使用者登陸

useradd -m hadoop -s /bin/bash //建立新使用者hadoop

passwd hadoop //使用該命令修改密碼,按照提示輸入兩次密碼

2)為hadoop使用者增加管理員許可權,方便部署,避免一些對於新手來說比較棘手的許可權問題,執行:

visudo
使用「:90」直接跳到第90行,找到root all=(all) all這行,然後在該行下面增加一行內容: hadoop all=(all) all

其中的間隔為tab

2 準備工作

1)網路連線

2)安裝ssh、配置ssh無密碼登陸

在單點、集群模式都需要用到ssh登陸(類似於遠端登陸,可以登陸某台linux,並且在上面執行命令),一般情況,centos預設安裝過ssh client、ssh server,我的就是已經安裝過,下面表述三個方面,檢驗是否安裝,如未安裝,怎樣安裝,以及如何實現無密碼登陸

檢驗是否安裝,**如下:rpm -qa | grep ssh

如果返回如下圖,則表示已安裝

如未安裝,可通過yum進行安裝(安裝過程會讓輸入y/n,輸入y即可)

sudo yum install openssh-clients

sudo yum install openssh-server

接著執行以下命令測試ssh是否可用

ssh localhost
此時會有如下提示(ssh首次登陸提示),輸入 yes 。然後按提示輸入密碼 hadoop,這樣就登陸到本機了

但這樣登陸是需要每次輸入密碼的,我們需要配置成ssh無密碼登陸比較方便。

首先輸入 「exit」 退出剛才的 ssh,就回到了我們原先的終端視窗,然後利用 ssh-keygen 生成金鑰,並將金鑰加入到授權中:

exit  //退出剛才的ssh localhost

cd ~/

.ssh/

//若沒有該目錄,請先執行一次ssh loacl host

ssh-keygen

-t rsa //會有提示,都按回車就可以

cat id_rsa.pub >> authorized_keys //加入授權

chmod 600

./authorized_keys //修改檔案許可權

sudo tar -zxf hadoop-

2.7.3

.tar.gz //解壓資料夾

sudo mv ./hadoop-

2.7.3

/./hadoop //修改資料夾名字為hadoop

sudo chown -r hadoop:hadoop ./hadoop //修改檔案許可權

hadoop 解壓後即可使用。輸入如下命令來檢查 hadoop 是否可用,成功則會顯示 hadoop 版本資訊:

二、知其所以然(待續)

1 sudo命令

sudo是linux系統管理指令,是允許系統管理員讓普通使用者執行一些或者全部的root命令的乙個工具,如halt,reboot,su等等。這樣不僅減少了root使用者的登入 和管理時間,同樣也提高了安全性。sudo不是對shell的乙個代替,它是面向每個命令的

CentOS下InfiniBand驅動安裝過程

硬體 mellanox infiniband 主要包括 hca 主機通道介面卡 和交換機兩部分 軟體 centos 6.4 mlnx ofed linux 2.1 1.0.0 rhel6.4 x86 64.iso 從 以使用者名稱 root 登入系統 1.檢查主機是否安裝了 hca lspci v ...

Hadoop搭建之Centos 7 0系統安裝

centos 7.0 1406 x86 64 iso 映象 密碼 6eyr 4.選中映象iso 5.寫入硬碟映象iso 7,選中準備的u盤,並開始寫入映象iso 8,寫入映象時,出現的進度 9,最終完成u盤啟動器的製作 10,把u盤插入準備裝系統的電腦上,重啟電腦,進入安裝介面,把所有帶有感嘆號的按...

CentOS下Hadoop的安裝(自學用!)

賊詳細的步驟 參考2 安裝hadoop 詳細步驟 3 轉殖虛擬機器 操作步驟 4 修改主機名 配置主機名 5 在ssh免密配置裡 rsaauthentication yes被centos7.4廢除了,具體原因見此文章 6 ssh登入,出現the authenticity of host 192.16...