1)hdfs讀過程
distributedfilesystem -> fsdatainputstream -> dfsclient.open(rpc通訊機制) -> nn.open
hdfs寫過程
distributedfilesystem -> fsdataoutputstream -> dfsclient.create(rpc通訊機制) -> nn.create
2)secondarynamenode的作用與機制
secondarynamenode不是完全意義上的namenode的乙個備份
拉取fsimage和edits檔案在snn的記憶體中進行合併
fs.checkpoint.period
fs.checkpoint.size
fs.checkpoint.dir
checkpoint node (和secondarynamenode一致,hadoop2中secondarynamenode已被此替代)
backup node 完全意義上的namenode備份
3)一旦丟失namenode或者元資料資訊,我們可以通過secondarynamenode的檢查點目錄回覆我們的元資料資訊
hadoop namenode -importcheckpoint
hadoop-daemon.sh start namenode
4)機架感知
預設情況下所有的datanode認為是處於同乙個機架,不管物理上是否處於用乙個機架
/default-rack
如果需要配置真正的網路拓撲結構,需要配置以下檔案:
topology.script.file.name屬性值是乙個指令碼,這個指令碼裡面寫的是真正意義上的網路拓撲結構
/d1/reck1/dn1
const詳細分析
最近在分析 linux 驅動的過程過程中遇到一些關於 const 的使用,現在在這裡詳細剖析一下 一,const int p 首先分析一下幾個概念 1 p 是乙個指標變數,因而它也是乙個變數,所謂變數就有變數的位址和變數的值,而這裡 p變數的值就是乙個位址,該位址下存放的是乙個整數,p的值等於這個整...
約數詳細分析
約數詳細分析 我們先來認識一下約數 約數分正約數和負約數兩種,我們一般只討論正約數。也就是說,接下來所提的約數,只考慮正約數。如果有乙個數k,滿足k n,那麼k就是n 的約數 因數 n是k的倍數。求乙個數的約數是資訊學競賽裡乙個基礎的不能再基礎的問題。如果只求乙個數,最容易想到的就是列舉。當然列舉也...
vue cli 詳細分析
vue lic 是 vue 官方提供的腳手架工具,預設搭建好乙個專案的基本架子,我們只需要在此基礎上進行相應的修改即可。注意 安裝 vue cli 前需要事先配置好 node 環境 npm install g vue cli 如果是 mac 電 sudo表示以管理員的許可權 sudo install...