KUDU安裝文件

2021-09-18 07:46:11 字數 4290 閱讀 2926

本安裝文件適合偽分布式和完全分布式兩種安裝模式。不過本文件使用的偽分布式安裝模式,如果你要安裝完全分布式模式,請看清文件的主從關係!

一 配置所需的軟體支援

yum -y install cyrus-sasl-plain lsb ntp

二 安裝rpm包

rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

三 配置kudu

ls -la /etc/kudu/conf/

主從機[root@hadoop kudu]# more /etc/kudu/conf/master.gflagfile 

# do not modify these two lines. if you wish to change these variables,

# modify them in /etc/default/kudu-master.

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/master

--fs_data_dirs=/var/lib/kudu/master

[root@hadoop kudu]# more /etc/kudu/conf/master.gflagfile 

# do not modify these two lines. if you wish to change these variables,

# modify them in /etc/default/kudu-master.

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/master

--fs_data_dirs=/var/lib/kudu/master

主從機#主機

[root@hadoop kudu]# more /etc/kudu/conf/tserver.gflagfile 

# do not modify these two lines. if you wish to change these variables,

# modify them in /etc/default/kudu-tserver.

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/tserver

--fs_data_dirs=/var/lib/kudu/tserver

--tserver_master_addrs=hadoop:7051 #設定kudu master address

#從機(需要添回最後一行master address)

[root@hadoop kudu]# more /etc/kudu/conf/tserver.gflagfile 

# do not modify these two lines. if you wish to change these variables,

# modify them in /etc/default/kudu-tserver.

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/tserver

--fs_data_dirs=/var/lib/kudu/tserver

--tserver_master_addrs=hadoop:7051  ######設定kudu master address

檢視/etc/default/有關kudu配置的檔案列表

[root@hadoop kudu]# ls -la /etc/default/kudu*

-rw-r--r-- 1 root root 80 apr 12 17:08 /etc/default/kudu-master

-rw-r--r-- 1 root root 80 apr 12 17:08 /etc/default/kudu-tserver

修改/etc/default/kudu-master內容

#主機上設定kudu master

[root@hadoop default]# vim kudu-master

export flags_log_dir=/var/log/kudu

#export flags_rpc_bind_addresses=0.0.0.0:7051

export flags_rpc_bind_addresses=hadoop:7051   ###新增主機的位址

#從機上設定kudu master

[root@hadoop kudu]# vim /etc/default/kudu-master

export flags_log_dir=/var/log/kudu

#export flags_rpc_bind_addresses=0.0.0.0:7051

export flags_rpc_bind_addresses=hadoop:7051 ###設定kudu master address

修改主從機/etc/default/kudu-tserver

#修改主機上的kudu tserver

[root@hadoop default]# vim kudu-tserver 

export flags_log_dir=/var/log/kudu

export flags_rpc_bind_addresses=0.0.0.0:7050

#修改改從機上的kudu tserver

[root@hadoop kudu]# vim /etc/default/kudu-tserver 

export flags_log_dir=/var/log/kudu

#export flags_rpc_bind_addresses=0.0.0.0:7050

export flags_rpc_bind_addresses=uranus.spk.com:7050  #新增從機tserver

ntp同步

配置檔案配置好後,進入/etc/init.d目錄下,執行./ntpd restart來ntp同步,這個是安裝kudu需要的。

#主機同步時間

[root@hadoop init.d]# systemctl restart ntpd

#從機同步時間

[root@hadoop init.d]# systemctl restart ntpd

#設定開機啟動

[root@hadoop init.d]# systemctl enable ntpd

[root@hadoop init.d]# systemctl enable ntpd

5.設定kudu的使用者及所屬組

建立配置檔案中的目錄,並且修改使用者和所屬組,因為kudu已經預設建立好kudu使用者,所以可以直接在目錄下執行如下命令:

#主機[root@hadoop lib]# chown -r kudu:kudu /var/lib/kudu/

#從機[root@hadoop conf]# chown -r kudu:kudu /var/lib/kudu/

6.啟動kudu master和kudu tablet

master 只需要在主節點(host1)上啟動就可以,tablet server 需要在所有的節點(host1、host2、host3)上啟動:

service ntpd start

/etc/init.d/kudu-master restart

/etc/init.d/kudu-tserver restart 

[root@hadoop conf]# systemctl restart kudu-master #啟動主機

[root@hadoop ~]# systemctl restart kudu-tserver   #啟動從機

通過8051/8050埠檢視kudo是否已經安裝成功

安裝Kudu(單機版)

kudu不支援window作業系統 sudo mv cloudera kudu.repo mv etc yum.repos.d 這是官網的解釋 sudo yum install kudu base kudu files sudo yum install kudu master kudu master...

使用docker安裝並啟動kudu

之前嘗試過用docker中安裝centos再編譯安裝kudu,雖然安裝成功了,但啟動除錯時出現了很多錯誤,一時無法解決該問題,但為了快速上手,最後還是使用docker中直接安裝啟動kudu的方式。執行docker compose up d 但會提示如下錯誤,執行docker ps,顯示了kudu相關...

kudu儲存引擎

kudu最初由cloudera開發,但現在已經開始作為apache的專案孵化。定位是olap資料庫,說白了就是可以隨機讀但主要是針對順序讀做優化。所以在小公尺也是計算組搞而非儲存組。資料的模型個人覺得很像cassandra的偽sql 結構化的資料 sql類似的語法但本質上還是nosql,可以設定是h...