四 HDF基本命令筆記

2021-10-05 02:52:47 字數 3466 閱讀 1800

hadoop fs -ls /   #檢視hdfs的根目錄

hadoop fs -put a.txt / #上傳a.text到hdfs的根目錄

hadoop fs -cat /a.txt #檢視hdfs下的a.txt內容

檔案具體位置:

/root/hadoopdata/dfs/data/current/bp-1637873230-192.168.223.80-1581639984530/current/finalized/subdir0/subdir0

直接cat blk_1073741825 同樣能檢視檔案內容

block 到128m就會分割,如果檔案大於128m就會分成多塊。可以按順序收到拼接每一塊,檔案一樣可用。

cat blk_01 > temp.file

cat blk_02 > temp.file

**********=

上傳測試檔案到hdfs:

hadoop fs -mkdir -p /wordcount/input 建立目錄

hadoop fs -put a.txt b.txt /wordcount/input/

執行hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input/ /wordcount/output

hadoop fs -cat /wordcount/output/part-r-00000

**********===

刪除資料夾 或檔案

hadoop fs -rm -r /wordcount/output4

從本地上傳到hdfs

hadoop fs -movefromlocal b.txt /

hadoop fs -movetolocal /aaa.txt

hadoop fs -chmod 777 /a.text

hadoop fs -chown user:group /a.text

hadoop fs -copyfromlocal a.txt /

hadoop fs -copytolocal /a.txt

cp,getmerge,move,rmdir ,count等命令;

使用hadoop fs 查詢命令使用手冊

hdfs系統可用空間

hadoop fs -df -h /

資料夾大小

hadoop fs -du -s -h hdfs://shizhan01:9000/*

設定副本數,但是修改的是元資料,不是真實的副本數量

hadoop fs -setrep 4 /a.txt

hdfs dfsadmin -report

hdfs dfs 和 hadoop fs 等價;

1、pom.xml引入相關依賴

>

>

org.apache.hadoopgroupid

>

>

hadoop-clientartifactid

>

>

2.6.3version

>

dependency

>

>

>

org.apache.hadoopgroupid

>

>

hadoop-commonartifactid

>

>

2.6.3version

>

dependency

>

>

>

org.apache.hadoopgroupid

>

>

hadoop-hdfsartifactid

>

>

2.6.3version

>

dependency

>

2、編寫測試**

public

class

hdfstest

catch

(exception e)

}/**

* 上傳

* @throws ioexception

*/@test

public

void

upload()

throws ioexception

/** * @throws ioexception

*/@test

public

void

download()

throws ioexception

/** * 建立目錄

* @throws ioexception

*/@test

public

void

mkdir()

throws ioexception

/** * 刪除

* @throws ioexception

*/@test

public

void

delete()

throws ioexception

@test

public

voidls(

)throws ioexception

} system.out.

println

("****************************************=");

} fs.

close()

;}@test

public

void

ls2(

)throws ioexception

}/**

* 列印配置引數

*/@test

public

void

printconf()

}}

以流的形式的測色是**

public

class

hdfsstreamaccess

catch

(exception e)

}@test

public

void

testupload()

throws ioexception

@test

public

void

testdownload()

throws ioexception

@test

public

void

testrandomaccess()

throws ioexception

@test

public

void

testcat()

throws ioexception

}

linux基本命令(四) find 命令

atime ctime mtime 關於時間的資訊有三個 最近訪問時間 access time atime 最近更改時間 modify time mtime 和 最近狀態改動時間 change time ctime atime 它代表著最近一次訪問檔案的時間,顯示乙個檔案的內容或者執行乙個shell...

vim 基本命令筆記

兩種模式 編輯模式 可以進行正常的編輯操作 左下方顯示 insert 在命令模式下輸入 i 能夠進入編輯模式 命令模式 可以通過命令 左下方什麼也不顯示 在編輯模式下按 esc 能夠返回到命令模式 最重要的命令 q 不儲存退出,一旦修改錯誤,就放棄修改!常用命令 查詢 n 執行上一次查詢 0 到行首...

MySQL基本命令指令碼(四)

a 全列插入 格式 insert into 表名 values 說明 主鍵列是自動增長,但是全列插入時需要佔位,通常使用0,插入成功以後以實際資料為準 示例 insert into student values 0,tom 19,1,beijing 0 b 預設插入 格式 insert into 表...