學習大資料hadoop的第六天

2021-09-26 20:39:41 字數 2064 閱讀 6518

小練習:利用wordcount計數

操作要求:

step1:

在home目錄下建立檔案wordcount.txt,內容如下:

hello zww

hello ljr

hello zzz

hello jjj

hello rrr

hello www

hello ljr

hello zww

hello lir

hello www

hello lalala

step2:

在hdfs建立存放wordcount.txt檔案的目錄/wc/input/

將剛才建立的wordcount.txt上傳到hdfs的/wc/output/

step3:

執行hadoop官方提供的mapreduce的wordcount的例子

hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /wc/input/wordcount.txt /wc/output/

命令說明:

hadoop jar :用hadoop發方式執行jar檔案

hadoop-mapreduce-examples-2.8.0.jar:具體的jar檔案

wordcount:jar檔案中的具體類

/wc/input/wordcount.txt:wordcount類執行需要的第乙個引數,hdfs檔案系統的輸入目錄

/wc/output/:wordcount類執行需要的第二個引數,hdfs檔案系統的輸出目錄

step4:

檢視執行完wordcount後,hdfs的輸出目錄,最後的計算結果如下:

zww 1

hello 11

jjj 1

lalala 1

lir 1

ljr 2

rrr 1

www 2

zww 1

zzz 1

操作**

在home目錄下:

[root@zww home]# vi wordcount.txt
寫入內容:

hello zww

hello ljr

hello zzz

hello jjj

hello rrr

hello www

hello ljr

hello zww

hello lir

hello www

hello lalala

hadoop fs -mkdir /wc/input/
hadoop fs -put wordcount.txt /wc/input/
hadoop fs -cat /wc/wordcount.txt
hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /wc/input/wordcount.txt /wc/output/
在mapreduce目錄下:

[root@zww mapreduce]# hadoop fs -ls /wc/
hadoop fs -ls /wc/output/
hadoop fs -cat /wc/output/part-r-00000
結果:

zww	1

hello 11

jjj 1

lalala 1

lir 1

ljr 2

rrr 1

www 2

zww 1

zzz 1

第六天學習

變數的作用域 區域性變數 在函式內部定義的變數,這個變數只能在函式內部使用,在全域性當中不能使用。使用就報錯了。全域性變數 在函式外部定義的變數,這個變數可以在全域性使用。但是我們一般不推薦使用全域性變數 因為可能會意外的修改掉變數的值。迫不得已不要用全域性變數 衝突處理原則 就近原則。而不是從上到...

學習第六天

還有九天,我就要去參加北大3日遊了。滑稽 像我這樣的蒟蒻去那也就是旅遊模式吧!無所謂了,隨便去考考,說不定有優秀營員呢?滑稽 不可能,絕對不可能 相信自己好了。這麼多天,好像把面試給忘了,雖然有人說面試是瞎 但是還是要準備準備的 明天看吧!還有什麼知識點沒看嗎?我們來看看st表和hash表吧!先看看...

學習android第六天

activity簡介 當在乙個activity中按下返回時,android os會自動銷毀activity物件 當在乙個activity中啟動另乙個activity時,當前activity不會被銷毀,而是被壓入activity棧中 activity的建立 1 自定義類,繼承activity 2 複寫...