1:簡述hdfs的特點以及優點缺點。
hdfs的優點
(1)支援超大檔案的儲存;
(2)支援流式檔案訪問。
(3)執行於廉價的商用機器集群。
hdfs的缺點
(1)不適合低延遲資料訪問;
(2)無法高效儲存大量小檔案;
(3)不支援多使用者寫入及任意修改檔案。
2:簡述namenode,datanode,secondary namenode之間的關係。
datanode根據namenode的指令建立、刪除和複製資料塊;
namenode需要保持檔案系統最新的元資料,secondarynamenode就是合併namenode的edit logs到fsimage檔案中。
secondary namenode所做的是在檔案系統中設定乙個檢查點來輔助namenode更好的工作。所以secondary namenode稱為檢查點節點。
3:簡述hdfs讀寫檔案的基本原理。
讀檔案:
1、客戶端向namenode發出寫檔案請求;
2、並通過namenode獲得組成該檔案的資料塊位置列表;
3、然後客戶端直接從這些datanode讀取檔案資料;
寫檔案:
1、向namenode傳送資料寫操作請求,包括檔名和目錄路徑等部分元資料資訊;
7、namenode告訴客戶機端到那個rack的哪個datanode進行具體的資料寫入;
8、客戶端直接將檔案資料傳輸給datanode。
ps:在讀寫過程中,namenode均不參加檔案的傳輸。
hadoop筆記一 簡介 HDFS的基礎
一 簡述 可靠性 可擴充套件 分布式計算框架 主要元件 hadoop common hadoop distributed file system hdfs hadoop yarn hadoop mapreduce 其他元件 hadoop ozone hadoop submarine a machin...
Hadoop離線基礎總結 HDFS詳細介紹
分布式檔案系統設計思路 為了解決資料丟失的問題,引入副本機制,保證資料不會丟失 如果對檔案進行切塊儲存,那麼元資料資訊又要繼續變化 blk元資料資訊的記錄 blk 00001 node01 node03 export servers blk 00001 blk 00002 node02 node01...
Hadoop之HDFS常用操作基礎練習(五)
詳細命令截圖 集群規劃 hadoop的高可用完全分布模式中有hdfs的主節點和資料節點 mapreduce的主節點和任務節點 資料同步通訊節點 主節點切換控制節點總共6類服務節點,其中 hdfs的主節點 mapreduce的主節點 主節點切換控制節點共用相同主機cgt 01和cgt 02,hdfs的...