hadoop fs -ls / #檢視hdfs的根目錄
hadoop fs -put a.txt / #上傳a.text到hdfs的根目錄
hadoop fs -cat /a.txt #檢視hdfs下的a.txt內容
檔案具體位置:
/root/hadoopdata/dfs/data/current/bp-1637873230-192.168.223.80-1581639984530/current/finalized/subdir0/subdir0
直接cat blk_1073741825 同樣能檢視檔案內容
block 到128m就會分割,如果檔案大於128m就會分成多塊。可以按順序收到拼接每一塊,檔案一樣可用。
cat blk_01 > temp.file
cat blk_02 > temp.file
**********=
上傳測試檔案到hdfs:
hadoop fs -mkdir -p /wordcount/input 建立目錄
hadoop fs -put a.txt b.txt /wordcount/input/
執行hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input/ /wordcount/output
hadoop fs -cat /wordcount/output/part-r-00000
**********===
刪除資料夾 或檔案
hadoop fs -rm -r /wordcount/output4
從本地上傳到hdfs
hadoop fs -movefromlocal b.txt /
hadoop fs -movetolocal /aaa.txt
hadoop fs -chmod 777 /a.text
hadoop fs -chown user:group /a.text
hadoop fs -copyfromlocal a.txt /
hadoop fs -copytolocal /a.txt
cp,getmerge,move,rmdir ,count等命令;
使用hadoop fs 查詢命令使用手冊
hdfs系統可用空間
hadoop fs -df -h /
資料夾大小
hadoop fs -du -s -h hdfs://shizhan01:9000/*
設定副本數,但是修改的是元資料,不是真實的副本數量
hadoop fs -setrep 4 /a.txt
hdfs dfsadmin -report
hdfs dfs 和 hadoop fs 等價;
1、pom.xml引入相關依賴
>
>
org.apache.hadoopgroupid
>
>
hadoop-clientartifactid
>
>
2.6.3version
>
dependency
>
>
>
org.apache.hadoopgroupid
>
>
hadoop-commonartifactid
>
>
2.6.3version
>
dependency
>
>
>
org.apache.hadoopgroupid
>
>
hadoop-hdfsartifactid
>
>
2.6.3version
>
dependency
>
2、編寫測試**
public
class
hdfstest
catch
(exception e)
}/**
* 上傳
* @throws ioexception
*/@test
public
void
upload()
throws ioexception
/** * @throws ioexception
*/@test
public
void
download()
throws ioexception
/** * 建立目錄
* @throws ioexception
*/@test
public
void
mkdir()
throws ioexception
/** * 刪除
* @throws ioexception
*/@test
public
void
delete()
throws ioexception
@test
public
voidls(
)throws ioexception
} system.out.
println
("****************************************=");
} fs.
close()
;}@test
public
void
ls2(
)throws ioexception
}/**
* 列印配置引數
*/@test
public
void
printconf()
}}
以流的形式的測色是**
public
class
hdfsstreamaccess
catch
(exception e)
}@test
public
void
testupload()
throws ioexception
@test
public
void
testdownload()
throws ioexception
@test
public
void
testrandomaccess()
throws ioexception
@test
public
void
testcat()
throws ioexception
}
linux基本命令(四) find 命令
atime ctime mtime 關於時間的資訊有三個 最近訪問時間 access time atime 最近更改時間 modify time mtime 和 最近狀態改動時間 change time ctime atime 它代表著最近一次訪問檔案的時間,顯示乙個檔案的內容或者執行乙個shell...
vim 基本命令筆記
兩種模式 編輯模式 可以進行正常的編輯操作 左下方顯示 insert 在命令模式下輸入 i 能夠進入編輯模式 命令模式 可以通過命令 左下方什麼也不顯示 在編輯模式下按 esc 能夠返回到命令模式 最重要的命令 q 不儲存退出,一旦修改錯誤,就放棄修改!常用命令 查詢 n 執行上一次查詢 0 到行首...
MySQL基本命令指令碼(四)
a 全列插入 格式 insert into 表名 values 說明 主鍵列是自動增長,但是全列插入時需要佔位,通常使用0,插入成功以後以實際資料為準 示例 insert into student values 0,tom 19,1,beijing 0 b 預設插入 格式 insert into 表...