好程式設計師
分享：hadoop集群同步
分享——是技術突飛猛進的很好體驗!在
好程式設計師
學習大資料技術
，開始學會了分享，班裡五十個人，每個人就能得到49份不同技術**。每次到分享的時刻，總會收穫不同的想法.
一、同步方式
選擇乙個機器，作為時間伺服器(這裡選擇hadoop01)，所有的機器與這台集群時間進行定時的同步，比如，每隔十分鐘，同步一次時間。
二、所需工具
時間同步伺服器有兩個：ntpd和ntpdatp。雖然使用二者都能達到時間同步的目的，但是使用之前得弄清楚乙個問題，ntpd與ntpdate在更新時間時有什麼區別。ntpd不僅僅是時間同步伺服器，它還可通過客戶端與標準時間伺服器進行時間同步，而且是平滑同步，並非ntpdate立即同步，在生產環境中慎用ntpdate，也正如此兩者不可同時執行。
三、具體操作步驟
時間伺服器配置
(1)檢查ntp是否安裝。 [root@hadoop01 desktop]# rpm -qa|grep ntp如果顯示 ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-1.el6.centos.x86_64則證明ntp已經安裝，否則要先安裝ntp服務。[root@hadoop01 desktop]# yum install -y ntp.
(2)修改ntp 配置檔案[root@hadoop01 desktop]# vi /etc/ntp.conf. 先配置客戶端的授權，也就是給指定的機器(客戶端)設定訪問ntp server的許可權，這是通過restrict配置項實現的。將#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap釋放。改為restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap.如果集群是在乙個封閉的區域網內，可以遮蔽掉預設的server。
將server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.
server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst遮蔽改為
#server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst.將本機的本地時鐘作為時間供給源，這樣，即便它失去網路連線，它也可以繼續為網路提供服務增加server 127.127.1.0 fudge 127.127.1.0 stratum.修改/etc/sysconfig/ntpd 檔案
[root@hadoop01 desktop]# vim /etc/sysconfig/ntpd增加sync_hwclock=yes之後重啟ntpd，[root@hadoop01 desktop]# service ntpd restart，設定ntpd開機預設啟動[root@hadoop01 desktop]# chkconfig mtpd on。完成以上操作以後，使用date命令檢視系統時間與當前時間是否對應，如果還不對應，應該是時區的問題。修改時區[root@hadoop01 desktop]# tzselect。根據提示選擇正確的時區，然後將cp /usr/share/zoneinfo/asia/shanghai設定為到/etc/localtime的鏈結
[root@hadoop01 desktop]# cp /usr/share/zoneinfo/asia/shanghai /etc/localtime
四、其他機器配置
配置每十分鐘與時間伺服器同步一次
需要在集群中其他的機器中都編寫時間同步指令碼，這裡以hadoop02為例，[root@hadoop02 desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01
重啟crond服務。 [root@hadoop02 desktop]# service crond restart。如果需要，同樣要修改時區，操作同上。
好程式設計師大資料培訓分享Redis與Kafka的區別
好程式設計師大資料培訓分享redis與kafka的區別，kafka與redis pub sub之間較大的區別在於kafka是乙個完整的系統，而redis pub sub只是乙個套件 utility 沒有冒犯redis的意思，畢竟它的主要功能並不是pub sub。另外一點，redis 發布訂閱除了表示...
好程式設計師大資料培訓分享 HBase知識點集中總結
hfile，hbase中keyvalue資料的儲存格式，hfile是hadoop的二進位制格式檔案，實際上storefile就是對hfile做了輕量級包裝，即storefile底層就是hfile。hlog file，hbase中wal write ahead log 的儲存格式，物理上是hadoop...
好程式設計師分享自學大資料入門乾貨
首先，提及大資料一詞的概念。大資料本質還在於資料，但是它有著新的特徵亮點。包括 資料 廣，資料格式多樣化 結構化資料 非結構化資料 excel檔案 文字檔案等 資料量大 最少也是tb級別的 甚至可能是pb級別 資料增長速度快等等。擴充套件講大資料的4個基本特徵，我們將進行下面額思考 1.資料 廣？廣...