Hadoop學習筆記 2

hadoop的埠

格式化只需要在namenode上做就可以：

hdfs --config /soft/hadoop/etc/hadoop_cluster/ namenode -format

在格式化後產生

/tmp/hadoop-$user/dfs
# 對應namenode
/tmp/hadoop-$user/dfs/name/current
cat version

只需在namenode主機上啟動即可。通過ssh可以自動在datanode上啟動相應程序。

start-dfs.sh --config /soft/hadoop/etc/hadoop_cluster/

start-yarn.sh --config /soft/hadoop/etc/hadoop_cluster/

安裝目錄下的logs/

分發配置檔案及目錄的shell script

#!/bin/bash

if[ $# -lt 1 ]; then
echo
"no path"
exit 1
fimyfile=
$1user=
`whoami
`filename=
`basename $myfile`
dir=
`dirname $myfile`if[
$dir
="."];
then
$dir=`
pwd`
fiecho
"------ rm $myfile on localhost ------"
rm -rf $myfile
echo
for(( i=
2;i<=
5;i=i+1))
;doecho
"------ scp $myfile to node$i ------"
if[ -d $myfile];
then
scp -r $myfile
$user@node$i:
$dir
else
scp$myfile
$user@node$i:
$dir
fiecho
echo
"------ rm $myfile on node$i ------"
ssh node$i
rm -rf $dir/$filename
ssh node$i
ls$dir/$filename
|xargs
#xargs將多行輸出變到一行
echo
done

Hadoop學習筆記2

mr存在的問題 hadoop 1.x 與 hadoop 2.x 結構如圖所示 hadoop 2.x 由hdfs mr和yarn三個分支構成 hdfs 2.x 解決記憶體受限問題 2.x僅僅是架構上發生變化，使用方式不變 對hdfs使用者透明 hdfs 1.x種的命令和api仍可以使用 解決單點故障 ...

hadoop學習筆記 2

0.要執行xcall.sh jps指令碼命令來檢視相關的程序的話，就需要將jps在 usr.local bin 下面建立香瓜你的鏈結 ln s soft jdk bin jps jps軟連線 1.為什麼hdfs檔案塊如此大？hdfs中的塊比磁碟中的塊要大，其目的是為了最小化定址開銷，如果塊設的足夠大...

Hadoop學習筆記 Hadoop初識

序言 資訊化發展到當今，網際網路的資料量是不斷地增加，那麼如何很好的處理以及利用這些資料可能是未來的乙個發展方向，這也之所以產生了各種平台的雲計算。對於網際網路而言，大資料量可分為兩種 第 一 大訪問量請求 第 二 大資料量處理。大訪問量請求這個事應用端應該思考的問題，如何很好的處理大的訪問量，如何...