1、集群分布:
啟動hadoop流程
1、關閉防火:
機器:node01-04
命令:service iptables stop
2、啟動zk
機器:node02-04
命令:zkserver.sh start
3、啟動hadoop
機器:node01
start-dfs.sh || hadoop-daemon.sh start zkfc
4、啟動yarm資源排程
機器:node01
4.1、yarm resourcemanager
機器:node02-03
命令:yarn-daemon.sh start resourcemanager
5、啟動mysql
服務:node01
命令:service mysqld start
mysql -h127.0.0.1 -uroot -p123
6、啟動hive
機器:node01
命令 hive --service metastore &
6.1 客戶端啟動hive
機器node02
命令:hive
7、spark啟動
機器:node01-node03
命令:/opt/data/spark-1.6/sbin
./start-all.sh
redis 啟動
伺服器:node01
路徑:/opt/data/redis/bin
命令:啟動服務: ./redis-server &
啟動客戶端:./redis-cli
Hadoop到底能做什麼?怎麼用hadoop?
調研hadoop頗久,就是想知道hadoop是什麼?hadoop能做什麼?怎麼用hadoop?最主要是這三塊,至於投入和風險也會隨之出來 濃縮了我幾十頁的調研方案啊!hadoop是什麼?hadoop是乙個開源的框架,可編寫和執行分布式應用,處理大規模資料,是專為離線和大規模資料分析而設計的,並不適合...
《Hadoop權威指南》第一章初始Hadoop
我們已經進入了乙個資料大 的時代!有大量資料需要儲存和處理 硬碟儲存容量多年來不斷提公升的同時,訪問速度卻沒有與時俱進。可採用分布式儲存。但是存在兩個問題,1.硬體故障問題。解決辦法 a.冗餘硬碟陣列 raid b.hadoop的檔案系統hdfs。2.多數任務需要某種方式結合大部分資料來共同分析。關...
hadoop啟動命令
1,分別啟動hdfs 和yarn 先啟動hdfs sbin start dfs.sh 或者 分別啟動 sbin hadoop daemon.sh start namenode sbin hadoop daemon.sh start datanode jps中出現 namenode datanode ...