大資料入門與實戰 HDFS的常用操作

bin/hdfs dfs

usage: hadoop fs [generic options]
[-cat [-ignorecrc] ...]
[-checksum ...]
[-chgrp [-r] group path...]
[-chmod [-r] path...]
[-chown [-r] [owner][:[group]] path...]
[-copyfromlocal [-f] [-p] [-l] [-d] ... ]
[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]
[-count [-q] [-h] [-v] [-t ] [-u] [-x] ...]
[-cp [-f] [-p | -p[topax]] [-d] ... ]
[-createsnapshot ]
[-deletesnapshot ]
[-df [-h] [...]]
[-du [-s] [-h] [-x] ...]
[-expunge]
[-find ... ...]
[-get [-f] [-p] [-ignorecrc] [-crc] ... ]
[-getfacl [-r] ]
[-getfattr [-r]  [-e en] ]
[-getmerge [-nl] [-skip-empty-file] ]
[-help [cmd ...]]
[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [...]]
[-mkdir [-p] ...]
[-movefromlocal ... ]
[-movetolocal ]
[-mv ... ]
[-put [-f] [-p] [-l] [-d] ... ]
[-renamesnapshot ]
[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]
[-rmdir [--ignore-fail-on-non-empty] ...]
[-setfacl [-r] [  ]|[--set ]]
[-setfattr  ]
[-setrep [-r] [-w] ...]
[-stat [format] ...]
[-tail [-f] ]
[-test -[defsz] ]
[-text [-ignorecrc] ...]
[-touchz ...]
[-truncate [-w] ...]
[-usage [cmd ...]]

資料夾建立與刪除

上傳檔案

啟動namenode

啟動datanode

啟動resourcemanager

啟動nodemanager

啟動historyserver

檢視程序

執行jar檔案

例如下面的詞頻統計例項：

大資料入門 HDFS的特性

目標 掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件，其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本，副本丟失後自動恢復。可構建在廉價的機器上，實現線性擴充套件。當集群增加新節點之後，namenode也可以感知，進行負載均衡，將資料分發和備份資料均...

hdfs讀寫流程 大資料實戰之HDFS讀寫流程

hdfs是乙個分布式檔案系統，其中最需要關注的就是讀寫流程了，寫流程比讀流程更快，下面分別講解寫和讀的細節。一.hdfs寫流程 1 首先，客戶端利用hdfs client建立了distributed filesystem例項，再通過 distributed filesystem向namenode發起...

大資料入門與實戰 SQL基礎教程

學習資料為 sql基礎教程 日 mick 1.sql書寫的基本規則 建立資料庫 create database shop 建立表 use shop create table shoin product id char 4 not null comment 商品id product name varc...