①使用hdfs提供的客戶端client向遠端的namenode發起rpc請求。
②namenode接收到客戶端的請求後會檢查要建立的檔案是否存在,建立者是否有權進行操作,成功則有權操作,否則將會向客戶端報錯。
③客戶端真正的提交上傳檔案的請求,請求中包含乙個重要的資訊(就是檔案的大小,計算檔案需要切塊的個數)。
④namenode開始計算上傳檔案的個數(檔案總長度、128m=結果進行取整函式),然後獲取副本個數,返回給客戶端對應的節點。
⑤客戶端開始上傳檔案(客戶端先對檔案進行邏輯切分,為物理切分做準備)。
⑥上傳第乙個資料塊。
⑦客戶端構建第乙個資料塊上傳通道,同時客戶端開啟乙個守護程序等待上傳的結果反饋。構建pipline的過程為:客戶端---->第乙個副本節點---->第二個副本節點---->第三個副本節點 一次向前反饋結果。
⑧pipline構建完成開始第乙個資料塊的上傳,客戶端邊上傳邊切分,檔案上傳的時候以packet為單位(64kb)
⑨客戶端將檔案以packet為單位先傳給第乙個副本節點----->第二個副本節點。。。。。
⑩第乙個上傳完成後,開始第二個,重複上述上傳步驟。
⑪所有檔案上傳完成後,整個檔案就上傳成功了,向客戶端反饋結果,修改namenode的元資料。
HDFS的兩大核心和元資料合併
檔案上傳過程 寫 8.開始上傳第乙個資料塊 9.先構建第乙個資料塊上傳的通道pipline,客戶端 向節點發 構建通道的時候,客戶端啟動搞乙個阻塞程序,等待datanode的響應 10.開始第乙個資料塊的資料上傳 客戶端上傳到datanode01,先上傳到記憶體中,存在磁碟裡,datanode03向...
spring兩大核心 IOC和AOP之詳細學習
spring核心 ioc aop 1.ioc概念和原理 什麼是ioc 1 控制反轉,把物件的建立和物件之間的呼叫過程,交給spring來實現 2 使用ioc的目的 降低耦合度 2.ioc底層原理 2.1 ioc的發展歷程 1.最原始的方式 例如 userservice呼叫userdao的方法時,是在...
你踩到寫簡歷的兩大雷區嗎?
無中生有 有家世界500強公司進行校招時,收到了許多名校應屆生的簡歷。hr在進行第一輪簡歷篩選時就發現,來自同乙個學校同乙個班級的20幾份簡歷上都寫明自己是學生會幹部 班長副班長 難道這個班級人人都是班長?難不成這個學校的學生會幹部是批量生成的?幾年前一起企業高管偽造虛假學歷的案件就給我們敲起了警鐘...