k8s集群中 spark訪問hbase中資料

2021-08-31 23:35:35 字數 492 閱讀 2357

架構系列文章

首先我們需要對hbase的訪問原理非常清楚.可以參考:

我們這裡已經在k8s中部署了hdfs和zookeeper以及hbase.部署可以參考:

hbase資料分割槽是按照region進行的,分割槽的location就是各個region的location。那麼後續分配executor時可以按照region所在機器分配對應executor,直接在本機讀取資料計算。

我們先來往hbase裡面寫兩個資料

hbase shell

whoami

list # 如果list出錯,說正在初始化中,要等待,可以在dashboard中看

exists 't1'

create 't1',,

put

k8s 集群概念

kubernetes是google開源的容器集群管理系統,提 用部署 維護 擴充套件機制等功能,利用kubernetes能方便管理跨集群執行容器化的應用,簡稱 k8s k與s之間有8個字母 二 基本概念 pod 若干相關容器的組合,pod包含的容器執行在同一host上,這些容器使用相同的網路命令空間...

K8S 集群安裝

1 作業系統 centos 7.4 2 主機資訊 k8smaster主機 kb master 001 192.168 0.11 kb master 002 192.168 0.12 kb master 003 192.168 0.13 k8snode主機 kb node 001 192.168 0....

K8S集群安裝

node設定 部署k8s的dashboard 本文記錄在centoos7上安裝k8s集群。環境配置 master 10.192.33.249 node1 10.192.33.248 兩台機器均已安裝docker18.06,沒有配置docker的registry,且都已經配置為自啟動 timedate...