1.standlone(local)
不需要配置就能用
2.pseudodistributed mode（偽分布模式）
a)cd /soft/hadoop/etc/hadoop
b)編輯core-site.xml
<?xml version="1.0"?>
fs.defaultfs
hdfs://localhost/
c)編輯hdfs-site.xml
<?xml version="1.0"?>
dfs.replication
1d)編輯mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
mapreduce.framework.name
yarn
e)編輯yarn-site.xml
<?xml version="1.0"?>
yarn.resourcemanager.hostname
localhost
yarn.nodemanager.aux-services
mapreduce_shuffle
f)配置ssh
1)檢查是否安裝了ssh相關軟體包(openssh-server + openssh-clients + openssh)
$yum list installed | grep ssh
沒有安裝ssh，安裝ssh
yum install openssh-server
2)檢查是否啟動了sshd程序
$>ps -af | grep sshd
3)在client側生成公私秘鑰對。(以下命令在centos7.5上會提示引數過長)
$>ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
修改後：
$>ssh-keygen -t rsa -f ~/.ssh/id_rsa
一路回車到底
4)生成~/.ss**件夾，裡面有id_rsa(私鑰) + id_rsa.pub(公鑰)
5)追加公鑰到~/.ssh/authorized_keys檔案中(檔名、位置固定)
$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys
6)修改authorized_keys的許可權為644.( 注：許可權不為644，每次ssh登陸都要輸入密碼)
$>chmod 644 authorized_keys
7)測試
$>ssh localhost
大資料學習之hadoop 02完全分布式集群搭建
本文使用的方法為第二種 對已經進行偽分布式的機器 node101 進行轉殖兩次 如何進行偽分布式集群搭建 hadoop學習之hdfs檔案系統 01偽分布式集群搭建 滑鼠右鍵偽分機器 管理 轉殖 虛擬機器中的當前狀態 建立完整轉殖 填寫虛擬機器名稱以及選擇虛擬機器儲存位置 直接轉殖出兩台機器,分別命名...
Hadoop到底能做什麼？怎麼用hadoop？
調研hadoop頗久，就是想知道hadoop是什麼？hadoop能做什麼？怎麼用hadoop？最主要是這三塊，至於投入和風險也會隨之出來 濃縮了我幾十頁的調研方案啊！hadoop是什麼？hadoop是乙個開源的框架，可編寫和執行分布式應用，處理大規模資料，是專為離線和大規模資料分析而設計的，並不適合...
《Hadoop權威指南》第一章初始Hadoop
我們已經進入了乙個資料大 的時代！有大量資料需要儲存和處理 硬碟儲存容量多年來不斷提公升的同時，訪問速度卻沒有與時俱進。可採用分布式儲存。但是存在兩個問題，1.硬體故障問題。解決辦法 a.冗餘硬碟陣列 raid b.hadoop的檔案系統hdfs。2.多數任務需要某種方式結合大部分資料來共同分析。關...