經過了痛苦的一段時間,現在終於發現了,自己原來也是可以走進大資料的殿堂的,不說別的,就拿命令列來說,個人是比較上心的,比如有一些命令總是忘記,就會一遍一遍的找到練習,然後再重複之前的操作,來來回回不下幾十次。
總結如下:
資料節點是檔案系統中真正儲存資料的地方。
從元資料節點(secondary namenode)
1.2.1、元資料節點資料夾結構
1.2.2、檔案系統命名空間映像檔案及修改日誌
1.2.3、從元資料節點的目錄結構
1.2.4、資料節點的目錄結構
當客戶端結束寫入資料,則呼叫stream的close函式。此操作將所有的資料塊寫入pipeline中的資料節點,並等待ack queue返回成功。最後通知元資料節點寫入完畢。
附:用到的命令
tar -zxvf ***x.tar 解壓縮tar包
mkdir ***x/ 建立目錄
rm -rf ***x 刪除檔案
mv ***x ***x 移動檔案從乙個目錄到另乙個目錄(也可以是同乙個目錄,也用於重新命名)
vim ****** 編輯檔案(i--編輯模式 esc----退出編輯 :q!----退出 :wq!----退出並儲存)
echo $***x 列印某一變數路徑
alias a="***xx" 別名(具體的雙引號內是需要執行的命令,用乙個別名代替這個命令)
hadoop namenode -format 格式化hadoop
hadoop fs -put ***xx檔案 hdfs://***x:***x/xx/ 上傳檔案到hdfs檔案系統中
hadoop jar hadoop-example-x.x.x.jar wordcount hdfs://***x:***x/input/ hdfs://***x:***x/output/ 執行wordcount程式,計算單詞出現的次數
hadoop fs -mkdir hdfs://***x:***x/***x 建立目錄
hadoop fs -ls hdfs://***x:***x/ 檢視目錄下的檔案
hadoop fs -lsr hdfs://***x:***x/ 檢視目錄下檔案的詳細資訊
hadoop學習總結
1 sbin目錄 存放啟動或停止hadoop相關服務的指令碼 2 bin目錄 存放對hadoop相關服務 hdfs,yarn 進行操作的指令碼 3 etc目錄 hadoop的配置檔案目錄,存放hadoop的配置檔案 4 share目錄 存放hadoop的依賴jar包和文件,文件可以被刪除掉 5 li...
Hadoop學習總結
hadoop定義 hadoop元件 分布式檔案系統hdfs 維護hdfs檔案系統,是檔案系統的主節點,不儲存檔案資料 記錄了客戶端的操作日誌 edits 儲存了hdfs的最新狀態 edits檔案儲存了自最後一次檢查點之前的對hdfs的操作資訊,比如說新增檔案,儲存檔案,刪除目錄等資訊。儲存目錄為 t...
Hadoop學習筆記1 初識Hadoop
資料越來越多,資料的增長越來越快,儲存和分析這些資料成為挑戰!當資料量逐漸變大時,單個磁碟的讀寫速度成為瓶頸。解決辦法是,將資料分散儲存,通過並行讀取提高讀寫資料。要達到這種目的,面臨的2個問題 hadoop的hdfs和mapreduce為這兩個問題提供了解決方案。為什麼不能用關係型資料庫 更多磁碟...