1、執行資料的讀寫（響應的是客戶端）
2、週期性向namenode做匯報（資料塊的資訊、校驗和）
若datanode 10分鐘沒有向namenode做匯報，表示已丟失（已宕機） 心跳週期 3秒
3、執行流水線的複製（一點一點複製）
rpc 指的是 遠端過程呼叫。是集群中多個元件、多個模組進行資料通訊的一種方式。
1、 client發起檔案上傳請求，通過rpc與namenode建立通訊，namenode檢查目標檔案是否已存在，父目錄是否存在，返回是否可以上傳；
2、 client請求第乙個block該傳輸到哪些datanode伺服器上；
3、 namenode根據配置檔案中指定的備份數量及機架感知原理進行檔案分配，返回可用的datanode的位址如： a，b，c；
4、 client請求3臺datanode中的一台a上傳資料（本質上是乙個rpc呼叫，建立pipeline），a收到請求會繼續呼叫b，然後b呼叫c，將整個pipeline建立完成，後逐級返回client；
5、 client開始往a上傳第乙個block（先從磁碟讀取資料放到乙個本地記憶體快取），以packet為單位（預設64k），a
收到乙個packet就會傳給b，b傳給c；a每傳乙個packet會放入乙個應答佇列等待應答。
6、 資料被分割成乙個個packet資料報在pipeline上依次傳輸，在pipeline反方向上，逐個傳送ack（命令正確應答），最終由pipeline中第乙個datanode節點a將pipelineack傳送給client;
7、關閉寫入流。
8、 當乙個block傳輸完成之後，client再次請求namenode上傳第二個block到伺服器。
1、客戶端通過呼叫filesystem物件的open()來讀取希望開啟的檔案。
2、 client向namenode發起rpc請求，來確定請求檔案block所在的位置；
3、 namenode會視情況返回檔案的部分或者全部block列表，對於每個block，namenode 都會返回含有該 block 副本的 datanode 位址； 這些返回的 dn 位址，會按照集群拓撲結構得出 datanode 與客戶端的距離，然後進行排序，排序兩個規則：網路拓撲結構中距離 client 近的排靠前；心跳機制中超時匯報的 dn 狀態為 stale，這樣的排靠後；
4、 client 選取排序靠前的 datanode 來讀取 block，如果客戶端本身就是datanode,那麼將從本地直接獲取資料(短路讀取特性)；
5、 底層上本質是建立 socket stream（fsdatainputstream），重複的呼叫父類 datainputstream 的 read 方法， 直到這個塊上的資料讀取完畢；
6、並行讀取，若失敗重新讀取
7、 當讀完列表的 block 後，若檔案讀取還沒有結束，客戶端會繼續向namenode 獲取下一批的 block 列表；
8、返回後續block列表
9、 最終關閉讀流，並將讀取來所有的 block 會合併成乙個完整的最終檔案。
資料在寫入之後進行校驗和的計算，datanode週期性進行校驗和計算，將計算結果與第一次的結果進行對比。 若相同表示無資料丟失，若不相同表示資料有丟失，丟失進行資料恢復。
資料讀取之前對資料進行校驗，與第一次的結果進行對比。若相同表示資料沒有丟失，可以讀取。若不相同表示資料 有所丟失。到其他副本讀取。
一次寫入，多次讀出的場景。支援資料在檔案尾追加。不支援在檔案中間追加或修改。
css 過渡 day03筆記
a.過渡只關係元素的初始狀態和結束狀態，沒有方法可以獲取元素在過渡中每一幀的狀態 b.元素在初次渲染還沒有結束的時候，是沒有辦法觸發過渡的 c.在絕大部分變換樣式的切換時，變換組合的個數或位置不一樣時，是沒有辦法觸發過渡的 1.過渡 transition property 指定過渡動畫的屬性 並不是...
HTML入門學習day03筆記
乙個簡單地表單 使用者名稱 密碼真實姓名 email 出生日期 性別男 女 愛好籃球 足球 閱讀 位址江蘇山西 湖南甘肅省蘇州 南京鎮江 淮安 市 區 縣介紹 實現效果為 層疊主要體現在 多個樣式表修飾同乙個元素 他可以繼承 具有優先順序 樣式表為 在html中，css的運用主要有三種方式 1.在元...
大資料day08筆記
day01 大資料及linux安裝 現在的社會發展相當迅速，科技發達，資訊流通，使得人們之間的交流越來越密切，生活也越來越方便，在智慧型手機 智慧型穿戴裝置基本普及的高科技時代的背景下，大資料應運而生。未來的時代將不再是it時代，而是dt data technology 時代。各個行業和領域都已經被...