Ubuntu上利用Docker部署Hadoop

2022-06-21 07:48:10 字數 2034 閱讀 1771

目錄3. 執行hadoop

虛擬化支援:開啟虛擬化

使用virtualbox安裝ubuntu,全部預設設定即可

進入ubuntu,更新apt列表,安裝net-tools,檢視網絡卡ip

$ sudo apt update && sudo apt install net-tools -y && ifconfig

在windows中開啟cmd,檢視本機網絡卡ip

ipconfig

在virtualbox中將本機ip的空閒埠和虛擬機器ip的22埠,本機的50070埠和虛擬機器的50070埠設定為埠對映

在cmd中使用ssh連線到虛擬機器,方便後續步驟的複製貼上操作

修改apt映象源,使用文字編輯器將/etc/apt/sources.list中的倉庫位址替換為mirror:,使用cat命令覆蓋重定向sources.list

更新apt列表

$ sudo apt update

檢視時間是否和windows一致

$ date

若時區錯誤,修改時區為北京時間

$ sudo timedatectl set-timezone 'asia/shanghai'

apt安裝docker

$ sudo apt install docker.io

建立docker使用者組

$ sudo groupadd docker

新增個人使用者進入docker使用者組

$ sudo usermod -ag docker $user

啟用對組的更改

$ newgrp docker

切換到國內映象源

如果有阿里雲賬戶,建議登入阿里雲容器映象服務,按照映象加速器中的方法配置。實測阿里雲的速度明顯快於國內公共映象源,另外註冊阿里雲是免費的。

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'eof'

eofsudo systemctl daemon-reload

sudo systemctl restart docker

驗證是否可以在不使用sudo命令執行docker

$ docker run hello-world

若執行成功,則docker安裝完成

拉取sequenceiq/hadoop-docker映象並在後台執行容器,命名為myhadoop0,對映常用埠,並執行初始化命令

$ docker run -d --name myhadoop0 -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker /etc/bootstrap.sh -bash

進入容器

$ docker exec -it myhadoop0 bash

測試mapreduce樣例程式

# /usr/local/hadoop-2.7.0/bin/hadoop jar /usr/local/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'

在瀏覽器開啟本機localhost:50070

出現hadoop的overview頁面,即部署成功hadoop環境

在Ubuntu上安裝Docker

後記 本文編寫時使用的系統為 ubuntu 14.04 lts,安裝具體操作流程依照了官方文件 以及乙個漢化版教程 docker是乙個新的容器化的技術,它輕巧,且易移植,號稱 build once,configure once and run anywhere docker有不少有趣的功能,通過本教...

在Ubuntu上安裝Docker

執行以下命令 執行以下命令 sudo docker run hello world 看到 hello from docker的資訊就表示執行成功,如下圖 三 常見問題 根據ubuntu的版本 環境中已有的元件包的不同,安裝docker引擎 拉取執行映象時,可能會執行失敗。典型的錯誤資訊包括 含義是找...

mac上利用docker搭建lnmp開發環境

docker compose f docker compose.yml up要在本地訪問這兩個網域名稱,需要修改你的hosts檔案,新增以下兩行 127.0.0.1 www.site1.com 127.0.0.1 www.site2.com 其中,www.site2.com為支援ssl https和...