如何檢視hdfs子命令的幫助資訊,如ls子命令
hdfs dfs -help rmdir
檢視hdfs檔案系統中已經存在的檔案
hdfs dfs -ls /hadoop fs -ls /
在hdfs檔案系統中建立檔案
hdfs dfs -touchz /1.txt
從本地路徑上傳檔案至hdfs
hdfs dfs -put /本地路徑 /hdfs路徑hdfs dfs -put hadoop-2.7.3.tar.gz /
hdfs dfs -get /hdfs路徑 /本地路徑
在hdfs檔案系統中刪除檔案
hdfs dfs -rm /1.txt
在hdfs檔案系統中檢視檔案內容
hdfs dfs -cat /xrsync.sh
在hdfs檔案系統中建立目錄
hdfs dfs -mkdir /shell
在hdfs檔案系統中修改檔名稱(也可以用來移動檔案到目錄)
hdfs dfs -mv /xcall.sh /call.shhdfs dfs -mv /call.sh /shell
在hdfs中拷貝檔案到目錄
hdfs dfs -cp /xrsync.sh /shell
遞迴刪除目錄
hdfs dfs -rmr /shell
列出本地檔案的內容(預設是hdfs檔案系統)
hdfs dfs -ls file:///home/bruce/
追加檔案內容到hdfs檔案系統中的檔案
獲取namenode的節點名稱(可能有多個)
hdfs getconf -namenodes
獲取hdfs最小塊資訊
hdfs getconf -confkey dfs.namenode.fs-limits.min-block-size
查詢hdfs的namenode的rpc位址
hdfs getconf -nnrpcaddresses
檢視hdfs dfsadmin的幫助資訊
hdfs dfsadmin
檢視當前的模式
hdfs dfsadmin -safemode get
進入安全模式
hdfs dfsadmin -safemode enter
fsck指令顯示hdfs塊資訊
hdfs fsck / -files -blocks
檢查壓縮庫本地安裝情況
hadoop checknative
格式化名稱節點(慎用,一般只在初次搭建集群,使用一次)
hadoop namenode -format
執行自定義jar包
hadoop jar yinzhengjiemapreduce-1.0-snapshot.jar com.kaikeba.hadoop.wordcount /world.txt /out
Hadoop到底能做什麼?怎麼用hadoop?
調研hadoop頗久,就是想知道hadoop是什麼?hadoop能做什麼?怎麼用hadoop?最主要是這三塊,至於投入和風險也會隨之出來 濃縮了我幾十頁的調研方案啊!hadoop是什麼?hadoop是乙個開源的框架,可編寫和執行分布式應用,處理大規模資料,是專為離線和大規模資料分析而設計的,並不適合...
《Hadoop權威指南》第一章初始Hadoop
我們已經進入了乙個資料大 的時代!有大量資料需要儲存和處理 硬碟儲存容量多年來不斷提公升的同時,訪問速度卻沒有與時俱進。可採用分布式儲存。但是存在兩個問題,1.硬體故障問題。解決辦法 a.冗餘硬碟陣列 raid b.hadoop的檔案系統hdfs。2.多數任務需要某種方式結合大部分資料來共同分析。關...
hadoop系列討論
主要關注生產環境下的運維成本,期待更多人加入討論,更希望有對cdh有運維經驗的人來分享分享 分享 預設排序按時間排序 0贊同 反對,不會顯示你的姓名 東昇鄉無可匹敵的傑出司令官,校園西路天 說實話,真覺得hortonworks的好,三種版本都玩過,還是更喜歡hortonworks,初學者喜歡用cdh...