CDH中服務的配置及啟動

2021-07-15 13:57:25 字數 2557 閱讀 1100

這裡「服務」沿用cdh中的概念,指的是「hdfs」、「yarn」、「spark」、「hive」等大資料軟體。

以hive為例,

hive--

service

metastore

&starting

hive

metastore

server

hive--

service

hiveserver

&starting

hive

thrift

server

採用如下方式獲取spark的配置,hadoop的配置獲取方式也類似。注意到下面的後續檔案都是link,故可以直接將/etc/spark/conf配置為spark的環境變數。

[root@datanode5 spark-1.3

.0-bin-hadoop2.4]# ll /etc/spark/conf

lrwxrwxrwx. 1 root root 28

3月 18

11:31 /etc/spark/conf -> /etc/alternatives/spark-conf

[root@datanode5 spark-1.3

.0-bin-hadoop2.4]# ll /etc/alternatives/spark-conf

lrwxrwxrwx. 1 root root 38

3月 18

11:31 /etc/alternatives/spark-conf -> /etc/spark/conf.cloudera

.spark_on_yarn

[root@datanode5 spark-1.3

.0-bin-hadoop2.4]# ll /etc/spark/conf.cloudera.spark_on_yarn

total 24

-rw-r--r--. 1 root root 21

3月 18

11:31 __cloudera_generation__

drwxr-xr-x. 3 root root 4096

6月 1

16:24 conf.cloudera

.spark_on_yarn

-rw-r--r--. 1 root root 550

3月 18

11:31 log4j.properties

-rw-r--r--. 1 root root 654

3月 18

11:31 spark-defaults.conf

-rw-r--r--. 1 root root 2345

3月 18

11:31 spark-env.sh

drwxr-xr-x. 2 root root 4096

3月 18

11:31 yarn-conf

以連線hdfs檔案系統為例,單獨安裝的hadoop的fs.defaultfs預設埠號為9000,而cdh中預設為8020。比如可以使用"hdfs://namenode:8020/user/asin/test.txt"在程式中訪問你的檔案。

參考博文1則給出了hadoop2.x各常用埠的含義及與hadoop1.x埠對比。

root@myhost:~#  locate hive-beeline

/opt/cloudera/parcels/cdh-5.8

.0-1.cdh5.8

.0.p0.42/jars/hive-beeline-1.1

.0-cdh5.8

.0.jar

/opt/cloudera/parcels/cdh-5.8

.0-1.cdh5.8

.0.p0.42/lib/hive/lib/hive-beeline-1.1

.0-cdh5.8

.0.jar

$ ll /usr/bin/hadoop

lrwxrwxrwx. 1 root root 24

feb14

09:27 /usr/bin/hadoop -> /etc/alternatives/hadoop

$ ll /etc/alternatives/hadoop

lrwxrwxrwx. 1 root root 58

feb14

09:27 /etc/alternatives/hadoop -> /opt/cloudera/parcels/cdh-5.4

.8-1.cdh5.4

.8.p0.4/bin/hadoop

$ cd /opt/cloudera/parcels/cdh-5.4

.8-1.cdh5.4

.8.p0.4/bin

hadoop2.x常用埠、定義方法及預設埠、hadoop1.x埠對比

Kolla中服務啟動實現分析

以下是對kolla中乙個完整服務的分析,以horizon為例。其中有 command usr sbin dforeground 其中apache cmd是根據當前平台為redhat系還是ubuntu系,分別設定為 httpd apache2 其中有name為 copying horizon json...

NFS服務的配置及啟動

nfs服務的配置及啟動 nfs 就是network file system的縮寫,它的最大的功能就是可以通過網路讓不同的機器,不同的作業系統可以彼此共享檔案 share files 所以也可以簡單的將它看作乙個檔案伺服器 file server nfs是通過網路進行資料傳輸,那麼nfs使用哪些埠呢,...

CentOS中服務程式隨系統啟動

如何讓linux系統一啟動就啟動服務程式?在 etc rc.d init.d 目錄下放置程式啟動指令碼。如 etc rc.d init.d 下的httpd,這是個指令碼程式。相當於執行 其實 service 會在 etc rc.d init.d 中找對應的指令碼程式,並執行。etc rc.d ini...