儲存型別：
archive:存檔 ，存冷資料
disk: 硬碟
ssd: ssd盤
ram_disk: 記憶體
hdfs設定
dfs.storage.policy.enabled=true 預設為true
dfs.datanode.data.dir=[disk]/data1/dn/disk0,
[ssd]/data2/dn/ssd0
[archive]/data3/dn/archive0
[ram_disk]/data4/dn/ram0
儲存策略
hot: 用於儲存和計算,常用資料儲存策略
warm: 部分熱和部分冷。 當乙個塊是熱資料時，它的一些副本儲存在disk中，其餘的副本儲存在
archive中
cold：冷資料.不再使用的資料或需要存檔的資料將從熱儲存移動到冷儲存。 當塊是冷的時，所有副
本都儲存在archive中。
all_ssd : 所有副本都儲存在ssd盤
one_ssd :一塊副本在ssd，其它都在disk
lazy_persist：用於在記憶體中寫入具有單個副本的塊。 副本首先寫在ram_disk中，然後它懶惰地保
存在disk中
注意：注1：lazy_persist策略僅對單個副本塊有用。 對於具有多個副本的塊，所有副本都將寫入disk，因為只將其中乙個副本寫入ram_disk不會提高整體效能。
注2：對於帶有條帶化布局的擦除編碼檔案，合適的儲存策略是all_ssd，hot，cold。 因此，如果使用者為上述策略以外的條帶化ec檔案設定策略，則在建立或移動塊時不會遵循該策略。
hadoop新增了乙個新的資料遷移工具，用於歸檔資料。 該工具類似於balancer。 它會定期掃瞄hdfs中的檔案，以檢查塊放置是否滿足儲存策略。 對於違反儲存策略的塊，它會將副本移動到不同的儲存型別，以滿足儲存策略要求。 請注意，它始終嘗試盡可能在同一節點內移動塊副本。 如果這不可能（例如，當節點沒有目標儲存型別時），那麼它將通過網路將塊副本複製到另乙個節點。
hdfs mover [-p | -f ]
-p 指定要遷移的hdfs檔案/目錄的空格分隔列表。
-f 指定包含要遷移的hdfs檔案/目錄列表的本地檔案。
儲存策略命令
hdfs storagepolicies -listpolicies 獲取支援的儲存策略
hdfs storagepolicies -setstoragepolicy -path -policy 設定目錄儲存策略
hdfs storagepolicies -getstoragepolicy -path 獲取目錄儲存策略
hdfs storagepolicies -unsetstoragepolicy -path 取消目錄儲存策略
hdfs 許可權設定問題
hdfs 系統的許可權和 linux 相似 分為三個部分 hdfs的使用者 是和本地機器的使用者繫結的 使用 比如hdfs 使用者 上有乙個使用者叫profile 想要使用這個使用者許可權操作hdfs 就要在本地使用 sudo u profile 的方式來使用指定使用者操作hdfs 為了防止線上的資...
磁碟配額設定
1.建立myquota使用者，對此使用者設定磁碟配額。2.建立乙個邏輯分割槽，對此分割槽設定配額。3.建立檔案sda6的掛載點 其中修改 etc fstab配置檔案資訊如下，主要要使用mount a使配置檔案生效。4.使用quotacheck命令生成配置磁碟配置的資料庫檔案，若selinux開啟的話...
獲取hdfs （大資料）HDFS
hdfs 是 hadoop 的分布式檔案系統，主要用於離線的大檔案資料資料儲存。hdfs 架構 hdfs 其實與作業系統的檔案系統類似，hdfs 主要有兩種角色，乙個是 namenode 檔案索引 另乙個是 datanode 儲存資料 namenode 主要負責記錄乙個檔案的儲存元資料 例如 檔名 ...