最近專案上採集的資料量超出預期,
hbase
集群中的datanode節點磁碟使用過快,基本都超過
50%,按現有的使用頻率來看,預計只能繼續支撐3個月左右
,考慮著要加新
的硬碟,但是卻被這麼乙個小問題折騰了好一會才解決,特地在此記錄一下。
顯示當前的硬碟及所屬分割槽的情況。如下圖所示:
在command (m for help)提示符後面輸入m顯示乙個幫助選單
在command (m for help)提示符後面輸入n,執行 add a new partition 增加新分割槽。
出現command action時,輸入e,指定分割槽為擴充套件分割槽(extended)。
出現partition number(1-4)時,輸入1表示只分乙個區。
後續指定起啟柱面(cylinder)號完成分割槽。
在command (m for help)提示符後面輸入p,顯示分割槽表。
系統提示如下:
在command (m for help)提示符後面輸入w,儲存分割槽表。
在終端視窗中輸入如下命令:
fdisk -l
如下圖所示:
系統已經識別了硬碟 /dev/sdb1 的分割槽。
說明:-t ext4 表示將分割槽格式化成ext4檔案系統型別。
在終端視窗中輸入如下命令:
mount
/dev/sdb1 /
data1
說明:將 /dev/sdb1 分割槽掛載到目錄 /data1 。 /data1是指向的乙個空資料夾
再次在終端視窗中輸入如下命令:
df -l
新硬碟分割槽已經掛載,如下圖最下面的紅色方框內容。
如果不做此步驟,系統重啟後,/dev/sdb1和資料夾/data1的掛載關係會丟失。
在檔案 /etc/fstab 中加入如下配置:
/dev/sdb1 /data1 ext4 defaults 0 0
(磁碟分割槽) (掛載目錄) (檔案格式)
至此,系統增加新磁碟的操作結束。
給被掛載的目錄賦予許可權
chown
-r hadoop:hadoop
/data
1修改hdfs-site.xml
dfs.datanode.data.dir
file:/opt/hadoop-2.7.2/tmp/dfs/data,
file:/
data1
注:用「,」將新舊目錄隔開。
重啟集群。
開啟hadoop的web監控頁面,到datanode頁籤檢視節點的磁碟是否已經擴大。
mongodb集群增加登入密碼驗證
在部署mongodb集群的時候,有些安全性要求比較高的地方,需要啟用密碼驗證的方式,登入mongo集群。下面的方式是在mongodb 3.6版本的基礎上,3個節點的集群裡設定的。1 進入mongodb的data目錄,建立keyfile目錄 2 使用openssl生成key檔案 3 修改key檔案許可...
hadoop集群動態刪除或增加節點
動態刪除節點 進入hadoop目錄的etc hadoop 目錄 1.新建excludes檔案,每行寫乙個要刪除的節點的主機名 2.在hdfs site.xml中增加 dfs.hosts.exclude data hadoop etc hadoop excludes 全路徑 3.在mapred sit...
redis虛擬機器模擬集群,節點,增加多埠命令
redis啟動多埠,執行多例項 使用redis在同一臺機器上,啟用多個埠,實現多個例項,完成集群的模擬實現。redis預設啟動埠為6379,我們可以使用 port 來指定多個埠,如下,在linux終端命令 redis server redis server port 6380 redis serve...