目錄3. 執行hadoop
虛擬化支援:開啟虛擬化
使用virtualbox安裝ubuntu,全部預設設定即可
進入ubuntu,更新apt列表,安裝net-tools,檢視網絡卡ip
$ sudo apt update && sudo apt install net-tools -y && ifconfig
在windows中開啟cmd,檢視本機網絡卡ip
ipconfig
在virtualbox中將本機ip的空閒埠和虛擬機器ip的22
埠,本機的50070
埠和虛擬機器的50070
埠設定為埠對映
在cmd中使用ssh連線到虛擬機器,方便後續步驟的複製貼上操作
修改apt映象源,使用文字編輯器將/etc/apt/sources.list
中的倉庫位址替換為mirror:
,使用cat
命令覆蓋重定向sources.list
更新apt列表
$ sudo apt update
檢視時間是否和windows一致
$ date
若時區錯誤,修改時區為北京時間
$ sudo timedatectl set-timezone 'asia/shanghai'
apt安裝docker
$ sudo apt install docker.io
建立docker使用者組
$ sudo groupadd docker
新增個人使用者進入docker使用者組
$ sudo usermod -ag docker $user
啟用對組的更改
$ newgrp docker
切換到國內映象源
如果有阿里雲賬戶,建議登入阿里雲容器映象服務,按照映象加速器中的方法配置。實測阿里雲的速度明顯快於國內公共映象源,另外註冊阿里雲是免費的。
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'eof'
eofsudo systemctl daemon-reload
sudo systemctl restart docker
驗證是否可以在不使用sudo命令執行docker
$ docker run hello-world
若執行成功,則docker安裝完成
拉取sequenceiq/hadoop-docker
映象並在後台執行容器,命名為myhadoop0,對映常用埠,並執行初始化命令
$ docker run -d --name myhadoop0 -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker /etc/bootstrap.sh -bash
進入容器
$ docker exec -it myhadoop0 bash
測試mapreduce樣例程式
# /usr/local/hadoop-2.7.0/bin/hadoop jar /usr/local/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'
在瀏覽器開啟本機localhost:50070
出現hadoop的overview頁面,即部署成功hadoop環境
在Ubuntu上安裝Docker
後記 本文編寫時使用的系統為 ubuntu 14.04 lts,安裝具體操作流程依照了官方文件 以及乙個漢化版教程 docker是乙個新的容器化的技術,它輕巧,且易移植,號稱 build once,configure once and run anywhere docker有不少有趣的功能,通過本教...
在Ubuntu上安裝Docker
執行以下命令 執行以下命令 sudo docker run hello world 看到 hello from docker的資訊就表示執行成功,如下圖 三 常見問題 根據ubuntu的版本 環境中已有的元件包的不同,安裝docker引擎 拉取執行映象時,可能會執行失敗。典型的錯誤資訊包括 含義是找...
mac上利用docker搭建lnmp開發環境
docker compose f docker compose.yml up要在本地訪問這兩個網域名稱,需要修改你的hosts檔案,新增以下兩行 127.0.0.1 www.site1.com 127.0.0.1 www.site2.com 其中,www.site2.com為支援ssl https和...