hadoop habse集群增加磁碟空間

2021-08-21 10:15:18 字數 2471 閱讀 4111

最近專案上採集的資料量超出預期,

hbase

集群中的datanode節點磁碟使用過快,基本都超過

50%,按現有的使用頻率來看,預計只能繼續支撐3個月左右

,考慮著要加新

的硬碟,但是卻被這麼乙個小問題折騰了好一會才解決,特地在此記錄一下。

顯示當前的硬碟及所屬分割槽的情況。如下圖所示:

在command (m for help)提示符後面輸入m顯示乙個幫助選單

在command (m for help)提示符後面輸入n,執行 add a new partition 增加新分割槽。

出現command action時,輸入e,指定分割槽為擴充套件分割槽(extended)。

出現partition number(1-4)時,輸入1表示只分乙個區。

後續指定起啟柱面(cylinder)號完成分割槽。

在command (m for help)提示符後面輸入p,顯示分割槽表。

系統提示如下:

在command (m for help)提示符後面輸入w,儲存分割槽表。

在終端視窗中輸入如下命令:

fdisk -l

如下圖所示:

系統已經識別了硬碟 /dev/sdb1 的分割槽。

說明:-t  ext4 表示將分割槽格式化成ext4檔案系統型別。

在終端視窗中輸入如下命令:

mount

/dev/sdb1 /

data1

說明:將 /dev/sdb1 分割槽掛載到目錄 /data1 。  /data1是指向的乙個空資料夾

再次在終端視窗中輸入如下命令:

df -l

新硬碟分割槽已經掛載,如下圖最下面的紅色方框內容。

如果不做此步驟,系統重啟後,/dev/sdb1和資料夾/data1的掛載關係會丟失。

在檔案 /etc/fstab 中加入如下配置:

/dev/sdb1     /data1        ext4       defaults    0    0

(磁碟分割槽)   (掛載目錄)  (檔案格式)

至此,系統增加新磁碟的操作結束。

給被掛載的目錄賦予許可權

chown

-r hadoop:hadoop

/data

1修改hdfs-site.xml

dfs.datanode.data.dir

file:/opt/hadoop-2.7.2/tmp/dfs/data,

file:/

data1

注:用「,」將新舊目錄隔開。

重啟集群。

開啟hadoop的web監控頁面,到datanode頁籤檢視節點的磁碟是否已經擴大。

mongodb集群增加登入密碼驗證

在部署mongodb集群的時候,有些安全性要求比較高的地方,需要啟用密碼驗證的方式,登入mongo集群。下面的方式是在mongodb 3.6版本的基礎上,3個節點的集群裡設定的。1 進入mongodb的data目錄,建立keyfile目錄 2 使用openssl生成key檔案 3 修改key檔案許可...

hadoop集群動態刪除或增加節點

動態刪除節點 進入hadoop目錄的etc hadoop 目錄 1.新建excludes檔案,每行寫乙個要刪除的節點的主機名 2.在hdfs site.xml中增加 dfs.hosts.exclude data hadoop etc hadoop excludes 全路徑 3.在mapred sit...

redis虛擬機器模擬集群,節點,增加多埠命令

redis啟動多埠,執行多例項 使用redis在同一臺機器上,啟用多個埠,實現多個例項,完成集群的模擬實現。redis預設啟動埠為6379,我們可以使用 port 來指定多個埠,如下,在linux終端命令 redis server redis server port 6380 redis serve...