第一回 新入環境
我的名字是hadoop，我一出生我的爸爸雅虎就給我取了這樣乙個名字：hadoop，我也不知道為什麼叫這個名字,剛出生沒多久,雅虎爸爸就把我領進乙個黑暗的屋子裡面,屋裡堆滿了黑色的箱子,裡面出奇的冷.
我一臉懵懂,「爸爸，這是**？」
「不要著急，馬上你就會明白了，聽爸爸的話,進去之後要好好做事.」
爸爸把我送到房間盡頭的樓梯旁跟我說:"進去吧,爸爸回家了,在外面好好闖蕩哈,吃虧是福,爸爸在家等你",說完爸爸輕輕地走了.我發呆望著爸爸.
正當我心中還念念不忘爸爸的時候,眼神無意中滑到了樓梯旁邊,我看著旁邊破舊的樓梯,心想這麼破的樓梯也沒個人修修,樓梯上面掛著乙個破舊的牌子,上面寫著四個字母"sftp".這到底是什麼地方,我心中念叨著.
"hadoop 快進 磨蹭什麼玩意",只聽見乙個凶神惡煞的門衛怒吼道.
什麼? hadoop? 不就是我嗎,我趕緊順著樓梯上了樓上的房間.
"磨蹭什麼玩意,這麼多人就等你呢",旁邊乙個人一臉不耐煩地看著我,我沒敢耽誤趕緊走了進去,看樣子那麼多人都排著隊呢,我緊挨著他們,他們和我一樣胸前都掛著牌子,我仔細看著他們每個人身上牌子,"hive","flume","sqoop","azkaban"等等等.看半天沒看出什麼所以然來.
"兄弟,咱們在這排隊是要幹什麼呀?",我輕聲問著前面叫flume的兄弟.
"還能幹什麼,看見那一堆堆的log資料沒,一會都是你要處理的",兄弟答道
我看著那堆積如山的資料不寒而慄,忽然我耳邊回響起起爸爸時常和朋友談起的資料儲存,資料計算等等關於資料的事情.難道我來就是處理這些資料的嘛.
很快就輪到我了,我被乙個粗胖的大漢拿著膠帶把我打包成乙個大箱子扔進了乙個叫centos的地方,進去之後我從箱子裡出來,觀察著周圍的光電閃爍,我看裡面乙個個人忙得手忙腳亂,他在裡面手舞足蹈揮舞著指揮棒,就像乙個**指揮家一樣,我走近了瞅見了他身上的牌子,上面金光閃閃地寫著cpu三個大字母,原來他是爸爸常跟我提起的**處理器,忽然他指著我說:"hadoop你過來把這一堆資料處理了,完不成馬上把你kill掉"
第二回 暫露頭腳
接收到cpu的命令以後,我一臉茫然,這麼多資料我怎麼可能幹得完,難道只能等著被乾掉?旁邊掛著flume牌子的大哥看出了我的困惑,低聲對我說:"這麼多資料你搞不定的,你必須把自己複製幾份在另幾個centos伺服器上面你們幾個一起幹活,你去問centos伺服器的主人要另外幾台伺服器的賬號密碼來傳輸備份"
是的,,看來只能這樣了,但是那麼多的hadoop在不同的伺服器上面總要有乙個來進行管理吧,不然幹起活來豈不亂套?誰管理呢?君臨天下捨我其誰,就我吧,
我思索著,我瞅著自己身上的三個元件:
第乙個是儲存檔案的hdfs元件,
第二個是排程資源的yarn元件,
第三個是計算資料的mapreduce元件,
hdfs檔案系統角色需要有乙個管理者,化名namenode,專門總體管理各個伺服器上面資料吧,其他伺服器上面的就叫datanode專門儲存資料,我做namenode,其他datanode服從我的管理.
yarn資源管理角色需要乙個管理者,化名resourcemanager,,專門管理總資源,其他伺服器上面資源管理的化名nodemanager,我做resourcemanager,其他nodemananger服從我的的管理.
對於mapreduce資料計算這一塊,就一干粗活的,就讓他服從nodemanger安排吧,我就做總司令.
哈哈,角色都安排好了,此刻我洋洋得意了,忽然想起乙個問題了,怎麼進行聯絡呢,我這個管理的總司令的命令怎麼下發呢,大家都在不同的伺服器上面呀,我經過一番思索,覺得我可以用http或者rpc
怎麼選擇呢?http? http協議是在傳輸層協議tcp之上的,而rpc就是基於傳輸層協議tcp的,很明顯rpc更底層,那也就是說用rpc更快,ok,就用rpc聯絡.
小hadoop準備工作完畢..
我的名字叫hadoop
第一回 新入環境 我的名字是hadoop，我一出生我的爸爸雅虎就給我取了這樣乙個名字 hadoop，我也不知道為什麼叫這個名字,剛出生沒多久,雅虎爸爸就把我領進乙個黑暗的屋子裡面,屋裡堆滿了黑色的箱子,裡面出奇的冷.我一臉懵懂,爸爸，這是 不要著急，馬上你就會明白了，聽爸爸的話,進去之後要好好做事....
《我的兄弟叫順溜》啟示
我的兄弟叫順溜 是非常好的一部電視劇集，雖然有些無聊之人非要去拿歷史和電視劇集較真，但我只是把它當作一部電視劇集，讓我們看的很高興，很感動，我認為已經很不錯。另外，如果還能讓人學到東西，那就更了不起了。下面就是我看的很多有價值的東西，如果和管理聯絡起來，那就有點意思了。從員工，從士兵的角度來看，順溜...
《我的兄弟叫順溜》啟示
我的兄弟叫順溜 是非常好的一部電視劇集，雖然有些無聊之人非要去拿歷史和電視劇集較真，但我只是把它當作一部電視劇集，讓我們看的很高興，很感動，我認為已經很不錯。另外，如果還能讓人學到東西，那就更了不起了。下面就是我看的很多有價值的東西，如果和管理聯絡起來，那就有點意思了。從員工，從士兵的角度來看，順溜...