讀過程
1：初始化filesystem，然後客戶端(client)用filesystem的open()函式開啟檔案
2：filesystem用rpc呼叫元資料節點，得到檔案的資料塊資訊，對於每乙個資料塊，元資料節點返回儲存資料塊的資料節點的位址。
3：filesystem返回fsdatainputstream給客戶端，用來讀取資料，客戶端呼叫stream的read()函式開始讀取資料。
4：dfsinputstream連線儲存此檔案第乙個資料塊的最近的資料節點，data從資料節點讀到客戶端(client):
5：當此資料塊讀取完畢時，dfsinputstream關閉和此資料節點的連線，然後連線此檔案下乙個資料塊的最近的資料節點。
6：當客戶端讀取完畢資料的時候，呼叫fsdatainputstream的close函式。
7：在讀取資料的過程中，如果客戶端在與資料節點通訊出現錯誤，則嘗試連線包含此資料塊的下乙個資料節點。
8：失敗的資料節點將被記錄，以後不再連線。
寫過程
1：初始化filesystem，客戶端呼叫create()來建立檔案
2：filesystem用rpc呼叫元資料節點，在檔案系統的命名空間中建立乙個新的檔案，元資料節點首先確定檔案原來不存在，並且客戶端有建立檔案的許可權，然後建立新檔案。
3：filesystem返回dfsoutputstream，客戶端用於寫資料，客戶端開始寫入資料。
4：dfsoutputstream將資料分成塊，寫入data queue。data queue由data streamer讀取，並通知元資料節點分配資料節點，用來儲存資料塊(每塊預設複製3塊)。分配的資料節點放在乙個pipeline裡。data streamer將資料塊寫入pipeline中的第乙個資料節點。第乙個資料節點將資料塊傳送給第二個資料節點。第二個資料節點將資料傳送給第三個資料節點。
5：dfsoutputstream為發出去的資料塊儲存了ack queue，等待pipeline中的資料節點告知資料已經寫入成功。
6：當客戶端結束寫入資料，則呼叫stream的close函式。此操作將所有的資料塊寫入pipeline中的資料節點，並等待ack queue返回成功。最後通知元資料節點寫入完畢。
7：如果資料節點在寫入的過程中失敗，關閉pipeline，將ack queue中的資料塊放入data queue的開始，當前的資料塊在已經寫入的資料節點中被元資料節點賦予新的標示，則錯誤節點重啟後能夠察覺其資料塊是過時的，會被刪除。失敗的資料節點從pipeline中移除，另外的資料塊則寫入pipeline中的另外兩個資料節點。元資料節點則被通知此資料塊是複製塊數不足，將來會再建立第三份備份。
hdfs的讀寫過程
詳細步驟解析 1 client發起檔案上傳請求，通過rpc與namenode建立通訊，namenode檢查目標檔案是否已存在，父目錄是否存在，返回是否可以上傳 client呼叫filesystem.create filepath 方法，去與nn進行 rpc 通訊，check該路徑的檔案是否存在以及有...
HDFS的讀寫過程
hdfs的寫檔案 把檔案切分成block,然後第乙個塊響應給namenode，namenode給客戶端返回給第乙個block儲存的位址 包括block副本 客戶端接收到該資訊，開始吧塊分成更小packet，開始向datanode寫入block，類似管道的運輸方式運輸packet。運輸完成返回給客戶端...
Hadoop學習總結之二 HDFS讀寫過程解析
hdfs開啟乙個檔案，需要在客戶端呼叫distributedfilesystem.open path f,int buffersize 其實現為 public fsdatainputstream open path f,int buffersize throws ioexception while ...