一、hdfs概念
1、介紹
hadoop distributed file system，簡稱hdfs，是乙個分布式檔案系統。hdfs有著高容錯性（fault-tolerent）的特點，並且設計用來部署在低廉的（low-cost）硬體上。而且它提供高吞吐量（high throughput）來訪問應用程式的資料，適合那些有著超大資料集（large data set）的應用程式。hdfs放寬了（relax）posix的要求（requirements）這樣可以實現流的形式訪問（streaming access）檔案系統中的資料。hdfs開始是為開源的apache專案nutch的基礎結構而建立，hdfs是hadoop專案的一部分，而hadoop又是lucene的一部分。
2、發展歷史
3、設計目標
4、hdfs不適合的應用型別
5、hdfs構成
構成詳解：
6、namenode作用
7、datanode作用
8、hdfs檔案副本機制
9、機架感知
hdfs分布式檔案系統的內部有乙個副本存放策略：以預設的副本數=3為例：
1）第乙個副本塊存放本機
2）第二個副本塊和第乙個副本塊存放乙個機架不同主機（方便於第乙個主機掛掉，立即接管）
3）第三個副本塊存放不同機架的不同主機（防止乙個機架所有主機出現問題）
二、基本命令
web頁面訪問檔案目錄
命令詳解：
-cp
大資料基礎運維 HDFS引數調優
1.namenode資料目錄 dfs.name.dir,dfs.namenode.name.dir 指定乙個本地檔案系統路徑，決定nn在何處存放fsimage和editlog檔案。可以通過逗號分隔指定多個路徑.目前我們的產線環境只配置了乙個目錄，並存放在了做了raid1或raid5的磁碟上。2.da...
大資料運維 結語 大資料運維，大有作為
高俊峰 南非螞蟻 你好，看到這裡，恭喜你學完了本專欄的全部內容。本專欄的定位是零基礎入門大資料運維，所以你學習的內容更多是關於大資料平台各個元件的安裝 部署和配置，這些技術看似簡單，但操作起來，其實一點也不簡單。大資料平台中涉及的技術，都需要 理解原理 執行機制 才能順利完成配置，也只有完成了安裝部...
大資料 學習hdfs
hdfs是什麼？hadoop distributed file system，它是一種分布式檔案儲存系統，主要解決大資料的儲存問題。hdfs的優缺點 優點 缺點 hdfs的主要角色 namenode 簡稱nn 是hdfs的核心節點，最重要 主要功能是 接收客戶端的讀寫請求，接收datanode傳送的...