Yarn命令使用及wordcount解析

2021-08-20 08:39:17 字數 2834 閱讀 3392

前言:

前面幾篇部落格主要介紹了mapreduce與yarn的架構設計及簡單工作流程,本篇文章將以wordcount程式為例,簡單介紹下yarn的使用。

1.wordcount示例執行
[root@hadoop000 ~]# su - hadoop

[hadoop@hadoop000 ~]$ jps

9201 secondarynamenode

9425 resourcemanager

13875 jps

9540 nodemanager

8852 namenode

8973 datanode

# 建立wordcount目錄

[hadoop@hadoop000 ~]$ hdfs dfs -mkdir -p /wordcount/input

[hadoop@hadoop000 ~]$ vi test.log

jepson ruoze

hero yimi xjp

123a b a

[hadoop@hadoop000 ~]$ hdfs dfs -put test.log /wordcount/input

[hadoop@hadoop000 ~]$ hdfs dfs -ls /wordcount/input

found 1 items

-rw-r--r-- 1 hadoop supergroup 37

2018-05-29

20:38 /wordcount/input/test.log

# 執行wordcount示例jar包

[hadoop@hadoop000 ~]$ yarn jar \

> /opt/software/hadoop-2.8

.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8

.1.jar \

> wordcount \

> /wordcount/input \

> /wordcount/output

18/05/29

20:40:59 info client.rmproxy: connecting to resourcemanager at /0.0

.0.0:8032

18/05/29

20:40:59 info input.fileinputformat: total input files to process : 1

18/05/29

20:41:00 info mapreduce.jobsubmitter: number of splits:1

18/05/29

20:41:00 info mapreduce.jobsubmitter: submitting tokens for job: job_1526991305992_0001

18/05/29

18/05/29

18/05/29

20:41:01 info mapreduce.job: running job: job_1526991305992_0001

18/05/29

20:41:14 info mapreduce.job: job job_1526991305992_0001 running in uber mode : false

18/05/29

20:41:14 info mapreduce.job: map 0% reduce 0%

18/05/29

20:41:23 info mapreduce.job: map 100% reduce 0%

18/05/29

20:41:29 info mapreduce.job: map 100% reduce 100%

18/05/29

20:41:30 info mapreduce.job: job job_1526991305992_0001 completed successfully

18/05/29

20:41:30 info mapreduce.job: counters: 49

# 檢視結果

2.yarn常用命令總結

--列出在跑的job

3.wordcount流程詳解

參考:

yarn 命令使用

在npm 中安裝 npm install g yarn 後端 使用yarn命令 初始化乙個新專案 yarn init y 新增依賴包 yarn add koa koa router koa static cache mysql2 基於node.js 的 web 框架 koa koa 中介軟體 koa...

Yarn 命令使用

windows下安裝方法 2.使用chocolatey進行安裝 chocolatey是乙個windows下的包管理器,可以通過在命令列下輸入以下命令直接安裝yarn choco install yarn3.在安裝有npm前提下安裝yarn npm install g yarn直接通過安裝包安裝如果環...

yarn安裝及基本命令使用

yarn是facebook發布的一種包管理工具 使用格式詳盡而又簡潔的 lockfile檔案 和確定性演算法來安裝依賴,能夠保證在乙個系統上的執行的安裝過程也會以同樣的方式執行在其他系統上 安裝包被執行前校驗其完整性 npm install g yarn 初始化 yarn init 新增包 yarn...