今天主要是和大家分享一下有關hdfs的讀寫流程，有關hadoop和其他相關的基礎我會在之後的大資料只是總結中一一的總結出來，有興趣的小夥伴可以關注我之後的更新
進入正題首先先由我這位靈魂畫手給大家上一張圖
首先先來說一下各自的功能：
namenode：負責管理整個檔案系統的元資料，以及所對應資料塊的資訊
datanode：負責檔案資料塊的儲存，每乙個datanode代表乙個副本
所以根據上圖我們可以得知，首先我們先和nn(namenode)上傳資料塊的資訊，以及在那些dn(datanode)上進行儲存，之後我們會與dn建立傳輸通道，這裡有乙個點是需要注意；dn1，dn2，dn3之間並不是並行建立的而是在dn1收到後會傳給dn2並進入應答的佇列等待應答。之後的就是進行傳輸了。
hdfs的都流程就是將寫流程顛倒過來，首先和nn建立聯絡獲取到所要讀取的檔案分別儲存在哪些dn上，之後與dn建立聯絡讀取檔案，相比較而言還是比較好理解。
以上就是我對hdfs讀寫流程的一些理解，有不足的地方還請指正。
hdfs讀寫流程 HDFS 讀寫流程（詳解）
hdfs hadoop distributed file system 是gfs的開源實現。1 優點 因為有多個副本，可以保證資料可靠，容錯性高 計算向資料移動，適用於批處理 適合大資料處理，gb tb pb級資料，百萬以上的檔案，十萬以上的節點 可以構建在廉價機器上，通過多副本提高可靠性 2 缺點...
hdfs讀寫流程 HDFS 檔案讀寫流程
開啟分布式檔案 呼叫分布式檔案 distributedfilesystem.open 方法 定址請求 從 namenode 處得到 datanode 的位址，distributedfilesystem使用 rpc 方式呼叫了namenode，namenode 返回存有該副本的datanode 位址，...
hdfs讀寫流程
1.client發起檔案上傳請求 通過rpc和namenode建立連線,namenode檢查目標檔案是否存在,檢查父目錄是否存在,檢查使用者是否有許可權,返回是否可以上傳 2.client請求第乙個block該傳輸到那些datanode伺服器上 3.namenode根據配置檔案中指定的備份數量及機架...