詳細步驟解析：
1、 client發起檔案上傳請求，通過rpc與namenode建立通訊，namenode檢查目標檔案是否已存在，父目錄是否存在，返回是否可以上傳；client呼叫filesystem.create(filepath)方法，去與nn進行【rpc】通訊，check該路徑的檔案是否存在以及有沒有許可權建立該檔案。 假如ok，就建立乙個新檔案，但是不關聯任何的block，nn根據上傳的檔案大小且塊大小且副本數，計算多少塊，以及塊存放的dn，最終將這些資訊返回給客戶端，則為【fsdataoutputstream】。
2、 client請求第乙個block該傳輸到哪些datanode伺服器上；
3、 namenode根據配置檔案中指定的備份數量及機架感知原理進行檔案分配，返回可用的datanode的位址如：a，b，c；
注：hadoop在設計時考慮到資料的安全與高效，資料檔案預設在hdfs上存放三份，儲存策略為本地乙份，同機架內其它某一節點上乙份，不同機架的某一節點上乙份。
4、 client請求3臺datanode中的一台a上傳資料（本質上是乙個rpc呼叫，建立pipeline），a收到請求會繼續呼叫b，然後b呼叫c，將整個pipeline建立完成，後逐級返回client；
5、 client開始往a上傳第乙個block（先從磁碟讀取資料放到乙個本地記憶體快取），以packet為單位（預設64k），a收到乙個packet就會傳給b，b傳給c；a每傳乙個packet會放入乙個應答佇列等待應答。
6、 資料被分割成乙個個packet資料報在pipeline上依次傳輸，在pipeline反方向上，逐個傳送ack（命令正確應答），最終由pipeline中第乙個datanode節點a將pipelineack傳送給client;
7、 當乙個block傳輸完成之後，client再次請求namenode上傳第二個block到伺服器。
詳細步驟解析
1、 client向namenode發起rpc請求，來確定請求檔案block所在的位置；
2、 namenode會視情況返回檔案的部分或者全部block列表，也就是返回fsdatainputstream物件。對於每個block，namenode 都會返回含有該 block 副本的 datanode 位址； 這些返回的 dn 位址，會按照集群拓撲結構得出 datanode 與客戶端的距離，然後進行排序，排序兩個規則：網路拓撲結構中距離 client 近的排靠前；心跳機制中超時匯報的 dn 狀態為 stale，這樣的排靠後；
3、 client 選取排序靠前的 datanode 來讀取 block，如果客戶端本身就是datanode,那麼將從本地直接獲取資料(短路讀取特性)；
4、 底層上本質是建立 socket stream（fsdatainputstream），重複的呼叫父類 datainputstream 的 read 方法，直到這個塊上的資料讀取完畢；
5、 當讀完列表的 block 後，若檔案讀取還沒有結束，客戶端會繼續向namenode 獲取下一批的 block 列表；
6、 讀取完乙個 block 都會進行 checksum 驗證，如果讀取 datanode 時出現錯誤，客戶端會通知 namenode，然後再從下乙個擁有該 block 副本的datanode 繼續讀。
7、 read 方法是並行的讀取 block 資訊，不是一塊一塊的讀取；namenode 只是返回client請求包含塊的datanode位址，並不是返回請求塊的資料；
8、 最終讀取來所有的 block 會合併成乙個完整的最終檔案。
HDFS讀寫過程
讀過程 1 初始化filesystem，然後客戶端 client 用filesystem的open 函式開啟檔案 2 filesystem用rpc呼叫元資料節點，得到檔案的資料塊資訊，對於每乙個資料塊，元資料節點返回儲存資料塊的資料節點的位址。3 filesystem返回fsdatainputstr...
HDFS的讀寫過程
hdfs的寫檔案 把檔案切分成block,然後第乙個塊響應給namenode，namenode給客戶端返回給第乙個block儲存的位址 包括block副本 客戶端接收到該資訊，開始吧塊分成更小packet，開始向datanode寫入block，類似管道的運輸方式運輸packet。運輸完成返回給客戶端...
Hadoop學習總結之二 HDFS讀寫過程解析
hdfs開啟乙個檔案，需要在客戶端呼叫distributedfilesystem.open path f,int buffersize 其實現為 public fsdatainputstream open path f,int buffersize throws ioexception while ...