本安裝文件適合偽分布式和完全分布式兩種安裝模式。不過本文件使用的偽分布式安裝模式,如果你要安裝完全分布式模式,請看清文件的主從關係!
一 配置所需的軟體支援
yum -y install cyrus-sasl-plain lsb ntp
二 安裝rpm包
rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
三 配置kudu
ls -la /etc/kudu/conf/
主從機[root@hadoop kudu]# more /etc/kudu/conf/master.gflagfile
# do not modify these two lines. if you wish to change these variables,
# modify them in /etc/default/kudu-master.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/var/lib/kudu/master
--fs_data_dirs=/var/lib/kudu/master
[root@hadoop kudu]# more /etc/kudu/conf/master.gflagfile
# do not modify these two lines. if you wish to change these variables,
# modify them in /etc/default/kudu-master.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/var/lib/kudu/master
--fs_data_dirs=/var/lib/kudu/master
主從機#主機
[root@hadoop kudu]# more /etc/kudu/conf/tserver.gflagfile
# do not modify these two lines. if you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/var/lib/kudu/tserver
--fs_data_dirs=/var/lib/kudu/tserver
--tserver_master_addrs=hadoop:7051 #設定kudu master address
#從機(需要添回最後一行master address)
[root@hadoop kudu]# more /etc/kudu/conf/tserver.gflagfile
# do not modify these two lines. if you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/var/lib/kudu/tserver
--fs_data_dirs=/var/lib/kudu/tserver
--tserver_master_addrs=hadoop:7051 ######設定kudu master address
檢視/etc/default/有關kudu配置的檔案列表
[root@hadoop kudu]# ls -la /etc/default/kudu*
-rw-r--r-- 1 root root 80 apr 12 17:08 /etc/default/kudu-master
-rw-r--r-- 1 root root 80 apr 12 17:08 /etc/default/kudu-tserver
修改/etc/default/kudu-master內容
#主機上設定kudu master
[root@hadoop default]# vim kudu-master
export flags_log_dir=/var/log/kudu
#export flags_rpc_bind_addresses=0.0.0.0:7051
export flags_rpc_bind_addresses=hadoop:7051 ###新增主機的位址
#從機上設定kudu master
[root@hadoop kudu]# vim /etc/default/kudu-master
export flags_log_dir=/var/log/kudu
#export flags_rpc_bind_addresses=0.0.0.0:7051
export flags_rpc_bind_addresses=hadoop:7051 ###設定kudu master address
修改主從機/etc/default/kudu-tserver
#修改主機上的kudu tserver
[root@hadoop default]# vim kudu-tserver
export flags_log_dir=/var/log/kudu
export flags_rpc_bind_addresses=0.0.0.0:7050
#修改改從機上的kudu tserver
[root@hadoop kudu]# vim /etc/default/kudu-tserver
export flags_log_dir=/var/log/kudu
#export flags_rpc_bind_addresses=0.0.0.0:7050
export flags_rpc_bind_addresses=uranus.spk.com:7050 #新增從機tserver
ntp同步
配置檔案配置好後,進入/etc/init.d目錄下,執行./ntpd restart來ntp同步,這個是安裝kudu需要的。
#主機同步時間
[root@hadoop init.d]# systemctl restart ntpd
#從機同步時間
[root@hadoop init.d]# systemctl restart ntpd
#設定開機啟動
[root@hadoop init.d]# systemctl enable ntpd
[root@hadoop init.d]# systemctl enable ntpd
5.設定kudu的使用者及所屬組
建立配置檔案中的目錄,並且修改使用者和所屬組,因為kudu已經預設建立好kudu使用者,所以可以直接在目錄下執行如下命令:
#主機[root@hadoop lib]# chown -r kudu:kudu /var/lib/kudu/
#從機[root@hadoop conf]# chown -r kudu:kudu /var/lib/kudu/
6.啟動kudu master和kudu tablet
master 只需要在主節點(host1)上啟動就可以,tablet server 需要在所有的節點(host1、host2、host3)上啟動:
service ntpd start
/etc/init.d/kudu-master restart
/etc/init.d/kudu-tserver restart
[root@hadoop conf]# systemctl restart kudu-master #啟動主機
[root@hadoop ~]# systemctl restart kudu-tserver #啟動從機
通過8051/8050埠檢視kudo是否已經安裝成功
安裝Kudu(單機版)
kudu不支援window作業系統 sudo mv cloudera kudu.repo mv etc yum.repos.d 這是官網的解釋 sudo yum install kudu base kudu files sudo yum install kudu master kudu master...
使用docker安裝並啟動kudu
之前嘗試過用docker中安裝centos再編譯安裝kudu,雖然安裝成功了,但啟動除錯時出現了很多錯誤,一時無法解決該問題,但為了快速上手,最後還是使用docker中直接安裝啟動kudu的方式。執行docker compose up d 但會提示如下錯誤,執行docker ps,顯示了kudu相關...
kudu儲存引擎
kudu最初由cloudera開發,但現在已經開始作為apache的專案孵化。定位是olap資料庫,說白了就是可以隨機讀但主要是針對順序讀做優化。所以在小公尺也是計算組搞而非儲存組。資料的模型個人覺得很像cassandra的偽sql 結構化的資料 sql類似的語法但本質上還是nosql,可以設定是h...