hadoop儲存容量或計算能力不能滿足日益增長的需求時,就需要擴容。
擴容有兩個方案:
1) 增加磁碟
2) 增加節點
將虛擬的linux關閉,擴大磁碟容量
將空間增大20g
增加空間後linux並不會識別出新增加的磁碟空間
需要為這塊新增的空間建立分割槽
新建分割槽
開啟linux
fdisk /dev/sda
#調整磁碟分割槽
m #進入幫助引導模式
n #新增分割槽
p #指定新分割槽為基本分割槽
一路回車 #但要記住分割槽號
w #儲存並執行剛才的分割槽操作
reboot
#重啟檢視新增分割槽
fdisk -l
格式化
找到新增加的分割槽,還記得剛才的分割槽號嗎?
mkfs.xfs /dev/sda
9
#將數字換成剛才分配的分割槽號
linux沒有碟符,所以增加分割槽之後,需將分割槽對映到某乙個資料夾上,以便使用。
新建資料夾
如果使用現有資料夾,則資料夾中的檔案在掛載後將無法訪問
mkdir /newdisk
臨時掛載
mount /dev/sda
9
/newdisk
掛載成成功後可以檢視掛載情況(沒有掛載時用這個命令看不到)
df -lht
#l表示列出
#h表示使用可讀性更好的方式列印磁碟大小
#t表示列出檔案型別
開機自動掛載
開啟 /etc/fstab
增加 /dev/sda9/newdiskxfsdefaults00
配置
在hdfs-site.xml中增加配置項
dfs.datanode.data.dir
$/dfs/data,
/newdisk
/newdisk就是指定datanode使用新增的磁碟作為儲存空間!可以指定多個儲存位置
注意:將$替換成當前的hadoop臨時目錄
重啟
stop-dfs.sh
start-dfs.sh
注意:如果在集群模式下,只需要重啟該datanode即可!
驗證
訪問hadoop瀏覽站點,可以看到該datanode儲存空間增加了。
以上適用於虛擬機器所在的物理磁碟還有多餘空間的情況。而生產環境中,還有一種情況是增加全新的硬碟(相當於買一塊新硬碟插到主機板上),用虛擬機器也能模式出這種情況。
新增磁碟之後,啟動linux,新磁碟對應的是
/dev/sdb #第一塊磁碟是sda,第二塊是sdb,第三塊是sdc…
然後從上面的【格式化】步驟繼續進行就可以了
linux磁碟的兩種分割槽方法
mbr master boot record 和gpt guid partition table 是在磁碟上儲存分割槽資訊的兩種不同方式。這些分割槽資訊包含了分割槽從 開始的資訊,這樣作業系統才知道哪個扇區是屬於哪個分割槽的,以及哪個分割槽是可以啟動的。在磁碟上建立分割槽時,你必須在mbr和gpt之...
Linux的兩種安裝方式
首先,介紹一下linux的安裝方式,可以是yum安裝,也可以是原始碼包安裝。yum 安裝nginx非常簡單,就輸入一條命令即可。sudo yum y install nginx 安裝 nginx sudo yum remove nginx 解除安裝 nginx 通過yum安裝的時候提示下面的錯誤 y...
linux 安裝nginx兩種方式
1 安裝依賴包 yum y install gcc zlib zlib devel pcre devel openssl openssl devel 2 官網下在nginx 3 cd usr local中mkdir nginx建立資料夾存放配置檔案 5 解壓 tar zxvf nginx xx.ta...