1.執行mr程式出錯
connecting to resourcemanager
retrying ....
retrying....
原因是沒有啟動yarn或者啟動失敗
2.初始化工作目錄結構
hdfs namenode -format 只是初始化了namenode的工作目錄
而datanode的工作目錄是在datanode啟動後自己初始化的
3.datanode不被namenode識別的問題
namenode在format初始化的時候會形成兩個標識:
blockpoolid;
clusterid;
新的datanode加入時,會獲取這兩個標識作為自己工作目錄中的標識
一旦namenode重新format後,namenode的身份識別已變,而datanode如果依然持有原來的id,就不會被namenode識別。
4.datanode下線後多久看到效果
datanode不是一下線就會被namenode認定為下線的,有乙個超時時間
5.關於副本數量的問題
副本數由客戶端的引數dfs.replication決定(優先順序:conf.set>自定義配置檔案》jar包中的hdfs-default.xml)
6.如果namenode的硬碟損壞,元資料是否還能恢復?如果能恢復,如何恢復?
將secondarynamenode的元資料目錄拷貝給namenode
所以,為了避免以上問題,最好在配置namenode工作目錄引數時,namenode的工作目錄應該配載多塊磁碟上。
vi 操作筆記
1.關於退出 wq 強制儲存退出 wq 儲存退出 x 作用和 wq 一樣 zz 作用和 wq一樣,注意z是大寫的,並且不是在命令模式 q 退出 q 強制退出 2.關於移動 h 在當前行向左移動乙個字元 j 移動到下一行 k 移動到上一行 l 在當前行向右移動乙個字元 ctrl f 向前滾動一頁 ct...
mysql操作筆記
user01只能本地訪問 create user user01 localhost identified by password1 user02可以遠端訪問 create user user02 identified by password1 建立資料庫 create database db01 修...
mysql操作筆記
一 select user 顯示的為當前使用的 user 及host use mysql select distinct user from user 顯示該資料庫授權登陸的使用者名稱 其實還有 host 的限制 mysql 中新增使用者 新建資料庫 使用者授權 刪除使用者 修改密碼 注意每行後邊都...