hadoop連線方式配置 fs操作 put

2021-07-14 09:03:58 字數 1439 閱讀 5202

cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml       /多個檔案合併cat

選擇啟動哪種配置模式:

ln -s hadoop_pseudo hadoop(前提是剔除環境變數)

export hadoop_conf_dir=   剔除環境變數

建立使用者目錄

hadoop fs -ls /     /檢視fs的根目錄

hadoop fs -ls -r /     /遞迴檢視fs的根目錄

hadoop fs -mkdir -p /user/$user   //-p是建立多級目錄

fs -rm -r /usr   刪除目錄及目錄下的所有檔案

namenode、datanode在本機上儲存的位置

cd /tmp/hadoop-ubuntu/dfs/name/current    ///namenode的當前資訊,裡面的fsimage_0000000000000000017存的就是檔案系統的映象檔案fsimage_0000000000000000017,md5為校驗版本

cat version    ///可檢視版本資訊

cd /tmp/hadoop-ubuntu/dfs/data/current   檢視datanode的資訊

/tmp/hadoop-ubuntu/dfs/data/current/bp-1913675862-127.0.1.1-1467596308382/current/finalized  ///存放具體內容

檢視幫助

hadoop fs   ///直接回車,檢視fs的所有幫助資訊

hadoop fs -help put       ///檢視put的具體資訊

往分布式檔案系統上方檔案

1 先本地建乙個hello.txt

cd ~

touch hello.txt

echo "hello world" >> hello.txt

hadoop fs -put hello.txt /user/ubuntu

hadoop fs -ls -r   ///該指令直接會檢視/user/ubuntu/下的檔案(非資料夾)

hadoop fs -ls -r /     ///檢視是否有hello.txt 

檢視具體存放在哪

cd /tmp/hadoop-ubuntu/dfs/data/current/bp-1913675862-127.0.1.1-1467596308382/current/finalized/subdir0/subdir0 可以看到blk_1073741825和blk_1073741825_1001.meta,blk為hdfs中的檔案資料塊,儲存的是原始檔案內容,乙個檔案可以是很多塊;.meta是塊的元資料檔案:包括版本和型別資訊的標頭檔案,與一系列塊的的區域校驗和組成。

可以看到預設資料是放到tmp裡了,但是每次重啟機器tmp都會重新建立,所以不能放在這,需要配置

FTP的連線方式(防火牆的配置)

ftp是僅基於tcp的服務,不支援udp。與眾不同的是ftp使用2個埠,乙個資料埠和乙個命令埠 也可叫做控制埠 通常來說這兩個埠是21 命令埠 和20 資料埠 但ftp工作方式的不同,資料埠並不總是20。這就是主動與被動ftp的最大不同之處。一 主動ftp 主動方式的ftp是這樣的 客戶端從乙個任意...

Hibernate 連線池的三種配置方式

關鍵字 hibernate 連線池 hibernate 連線池的三種配置方式 dbcp c3p0 proxool url的多種指定方式 連線池監控 上班第二天,看到公司的hibernate配置檔案在寫法上,跟我以前的不一樣,就去研究了哈,得出的結果如下。在hibernate3.0中,已經不再支援db...

兩種資料來源連線的配置方式 jndi和jdbc

潤幹報表的資料來源配置是在reportconfig.xml中進行設定的,支援jndi資料來源配置和jdbc直連資料來源配置兩種。在讀取配置檔案的時候,會首先讀取jndi的配置,如果沒有相關的資料來源配置則會讀取jdbc直連配置的資料來源。1 jndi資料來源配置 即 在datasource中配置 此...