hdfs--解決大資料儲存
1、hdfs 之前解決大資料儲存 可以使用 nfs
1.1 network file system 網路檔案系統
1.2 nfs問題1 ：大檔案集中儲存，併發訪問單節點 壓力大
1.3 nfs問題2 ： 有單點故障問題 ，需要別的方式提供高可用處理
2、hdfs 的方案
2.1 檔案劃分為block 分散儲存到多個節點上-- 讀大檔案時可以從分散的多個節點上讀取 減輕單節點壓力
2.2 乙個block儲存多個備份---提高檔案高可用性 即使某個節點掛掉只要還有乙個節點上有可用的 備份
整個檔案扔可用。
2.3 namenode： 就像乙個總目錄 記錄各個檔案的詳細的分布情況。
2.4 datanode ： 資料節點 實際存放檔案資料的地方 。
大資料 學習hdfs
hdfs是什麼？hadoop distributed file system，它是一種分布式檔案儲存系統，主要解決大資料的儲存問題。hdfs的優缺點 優點 缺點 hdfs的主要角色 namenode 簡稱nn 是hdfs的核心節點，最重要 主要功能是 接收客戶端的讀寫請求，接收datanode傳送的...
大資料學習 關於hdfs
高容錯性 適合處理大資料 可構建在廉價機器上 不適合低延時資料訪問 無法高效的對大量小檔案進行儲存 儲存大量小檔案的話，它會占用namenode大量的記憶體來儲存檔案目錄和塊資訊。小檔案儲存的定址時間會超過讀取時間 不支援併發寫入 檔案隨機修改 乙個檔案只能有乙個寫，不允許多個執行緒同時寫 data...
大資料學習Hdfs詳解1
hdfs架構設計 主從 nn 主 名稱節點 扮演老大的角色 snn 第二名稱節點 nn 扮演二把手的角色 dn 從 資料節點 扮演小弟的角色 dfs.blocksize 134217728 128m 不滿128m也算乙個塊 例如 hdfs site.xml下的引數dfs.replication 為1...