關於集群資料負載均衡

2021-09-30 04:07:29 字數 958 閱讀 9969

一、環境

1、hadoop 0.20.2

2、作業系統 linux

二、關於負載均衡

1、一般情況下,資料在錄入集群的時候就進行負載均衡,根據各個節點的情況來做資料平衡分發存放。

2、但是如果在新增節點之後,如果想做到負載均衡則需要使用balancer的命令。對於這個命令,一般是有乙個閥值,預設是10%

也就是說,節點之間差額不過10%,集群認為就是均衡的。

3、當然,負載的越平均,查詢相對也較快,但是均衡的過程會耗時不少。

三、操作

1、新新增節點到集群,啟動節點機器

sh hadoop-daemon.sh start datanode

sh hadoop-daemon.sh start tasktracker

2、啟動balancer命令
sh stop-balancer.sh
3、檢視程序jps
15294 namenode

15961 balancer

15553 jobtracker

15473 secondarynamenode

16162 jps

可以看到balancer已啟動
4、檢查是否在平衡,通過檢視

四、總結
1、平衡的過程比較慢,但是在這個過程中可以執行一些job
2、資料的平衡是緩慢進行的。
3、平衡的閥值一般是10%,可以通過修改閥值來再次平衡
4、負載均衡如果重複啟動,將會提醒要求先停止
5、寫的不對或是有疑問,歡迎發郵件溝通。[email protected]

關於集群資料負載均衡

一 環境 1 hadoop 0.20.2 2 作業系統 linux 二 關於負載均衡 1 一般情況下,資料在錄入集群的時候就進行負載均衡,根據各個節點的情況來做資料平衡分發存放。2 但是如果在新增節點之後,如果想做到負載均衡則需要使用balancer的命令。對於這個命令,一般是有乙個閥值,預設是10...

關於負載均衡和集群

集群應該是多台伺服器之間的連線.我突然想到乙個場景 比如乙個系統 最大併發是1000,乙個tomcat一般最大併發支援250左右最好,這樣的話我就需要4個tomcat伺服器來集群執行吧?一般情況下腰分布到四台機器了吧.如果每個訪問都是最簡單的答應一下hello world 的話,那麼乙個機器處理併發...

Apache tomcat集群(負載均衡)

本次實踐我是在windows系統的環境下進行的,apache是2.2.21版本,tomcat是7.0.16和7.0.23兩個版本 集群中tomcat不能既有tomcat6又有tomcat7,否則雖能夠負載均衡,但不能進行session複製 2.配置tomcat 1 首先講講tomcat需要配置的檔案...