1) 檢查ntp是否安裝
[root@node1 ~]# rpm -qa | grep ntp
fontpackages-filesystem-1.44-8.el7.noarch
ntp-4.2.6p5-25.el7.centos.2.x86_64
python-ntplib-0.3.2-1.el7.noarch
ntpdate-4.2.6p5-25.el7.centos.2.x86_64
2) 如果沒有ntp服務,可使用yum命令進行安裝
[root@node1 ~]# yum -y install ntp
1) 選擇某台機器,作為集群中時間伺服器的主節點,然後其他機器同步該機器的時間即可。但是在開始這步操作之前,我們需要確保所有節點的時區是統一的
[root@node1 ~]# date -r
//顯示類似如下格式
wed, 28 feb 2018 15:28:53 +0800
[root@node1 ~]# rm -rf /etc/localtime
[root@node1 ~]# ln -s /usr/share/zoneinfo/asia/shanghai /etc/localtime
[root@node1 ~]# ntpdate pool.ntp.org
1) 我們需要修改ntp服務的配置檔案,關閉網路時間的同步
[root@node1 ~]# vi /etc/ntp.conf
2)對如下內容做出修改
# hosts on local network are less restricted.
# 授權192.168.2.0網段上的所有機器可以從這台機器上查詢和同步時間
restrict 192.168.2.0 mask 255.255.255.0 nomodify notrap
# 當該節點丟失網路連線,依然可以作為時間伺服器為集群中的其他節點提供時間同步
server 127.127.1.0
fudge 127.127.1.0 stratum 10
# please consider joining the pool
#集群在區域網中,不使用其他的網路時間
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
##nomodify:客戶端不能使用ntpc與ntpq修改伺服器的時間引數
##notrap:不提供trap遠端時間登入的功能
centos6
[root@node1 ~]# service ntpd restart
[root@node1 ~]# chkconfig ntpd on
centos7
[root@node1 ~]# systemctl restart ntpd.service
[root@node1 ~]# systemctl enable ntpd.service
1) 首先在其他節點上關閉ntp服務
centos6
[root@node1 ~]# service ntpd stop
[root@node1 ~]# chkconfig ntpd off
centos7
[root@node1 ~]# systemctl stop ntpd.service
[root@node1 ~]# systemctl disable ntpd.service
檢視ntp 程序id
[root@node1 ~]# pgrep ntpd
2) 其他節點手動同步第一台時間伺服器的時間進行測試
[root@node1 ~]# ntpdate node1
3) 其他節點制定計畫任務,週期性同步時間
[root@node1 ~]# crontab -e
# .------------------------------------------minute(0~59)
# | .----------------------------------------hours(0~23)
# | | .--------------------------------------day of month(1~31)
# | | | .------------------------------------month(1~12)
# | | | | .----------------------------------day of week(0~6)
# | | | | | .--------------------------------command
# | | | | | |
*/10 * * * * /usr/sbin/ntpdate node1
4) 重啟定時任務
centos6
[root@node1 ~]# service crond restart
[root@node1 ~]# chkconfig crond on
centos7
[root@node1 ~]# systemctl restart crond.service
[root@node1 ~]# systemctl enable crond.service
5) 檢視任務
[root@node1 ~]# crontab -l
黑猴子的家 Hadoop Checkpoint機制
fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作,並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以,這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話,checkpoint由secondname...
黑猴子的家 FileInputFormat切片機制
1 job提交流程原始碼詳解 waitforcompletion submit 1 建立連線 connect 1 建立提交job的 new cluster getconfiguration 2 判斷是本地yarn還是遠端 initialize jobtrackaddr,conf 2 提交job su...
黑猴子的家 Zookeeper Java API
1 code github 2 環境準備 1 建立乙個工程 2 解壓zookeeper 3.4.10.tar.gz檔案 3 拷貝zookeeper 3.4.10.jar jline 0.9.94.jar log4j 1.2.16.jar netty 3.10.5.final.jar slf4j ap...