1。剛剛開始搭建看官網,不使用zookeeper,不搭建自動故障轉移,以為可以直接配置使用。但是總是會出現這樣的情況,使用hdfs dfs -mkdir /lcc 總是把檔案建立在本地。最後才知道只要是ha,必須要有zookeeper.
2。建立好zookeeper後,搭建好ha發現還是那個問題。但是使用命令hdfs dfs -mkdir /lcc建立的是本地資料夾,使用hdfs dfs -mkdir hdfs://mycluster/lcc才能建立遠端資料夾,因此猜測預設檔案訪問可能沒有修改。
最後檢視文件發現
fs.defaultfs
hdfs://mycluster
讓我寫成了、
dfs.defaultfs
hdfs://mycluster
所以錯了。
3.下面開始從新搭建乙個完整的ha
首先我們要保證有三颱機器,三颱機器分別設定如下
HA集群搭建
搭建ha集群 1 zookeeper集群搭建 a 將zookeeper.tar.gz上傳到node2 node3 node4 b 解壓到 opt tar zxf zookeeper 3.4.6.tar.gz c opt c 配置環境變數 export zookeeper prefix opt zoo...
搭建ha遇到的問題
在搭建好ha集群後發現配置都是對的還是無法實現故障自動轉移,遇到這個問題卡了一段時間,今天重新又搭建一遍,終於找到問題所在了,當初自已太傻了除了zookeeper的日誌沒看過,其他所有的都看了一遍都沒發現有問題,今天看了一下zookeeper的發現 原來是這個問題導致無法實現自動故障轉移,產生原因是...
HDFS高可用性HA架構原理及環境搭建
1 元資料同步 hdfs高可用性保證兩個namenode記憶體中儲存的檔案系統元資料是一致的。namenode的啟動過程 乙個namenode啟動時,讀取fsimage和edits檔案,讀取後會生成新的fsimage和edits檔案,另乙個namenode同樣需要去讀取這兩個檔案,變化後的edits...