小練習:利用wordcount計數
操作要求:
step1:
在home目錄下建立檔案wordcount.txt,內容如下:
hello zww
hello ljr
hello zzz
hello jjj
hello rrr
hello www
hello ljr
hello zww
hello lir
hello www
hello lalala
step2:
在hdfs建立存放wordcount.txt檔案的目錄/wc/input/
將剛才建立的wordcount.txt上傳到hdfs的/wc/output/
step3:
執行hadoop官方提供的mapreduce的wordcount的例子
hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /wc/input/wordcount.txt /wc/output/
命令說明:
hadoop jar :用hadoop發方式執行jar檔案
hadoop-mapreduce-examples-2.8.0.jar:具體的jar檔案
wordcount:jar檔案中的具體類
/wc/input/wordcount.txt:wordcount類執行需要的第乙個引數,hdfs檔案系統的輸入目錄
/wc/output/:wordcount類執行需要的第二個引數,hdfs檔案系統的輸出目錄
step4:
檢視執行完wordcount後,hdfs的輸出目錄,最後的計算結果如下:
zww 1
hello 11
jjj 1
lalala 1
lir 1
ljr 2
rrr 1
www 2
zww 1
zzz 1
操作**
在home目錄下:
[root@zww home]# vi wordcount.txt
寫入內容:
hello zww
hello ljr
hello zzz
hello jjj
hello rrr
hello www
hello ljr
hello zww
hello lir
hello www
hello lalala
hadoop fs -mkdir /wc/input/
hadoop fs -put wordcount.txt /wc/input/
hadoop fs -cat /wc/wordcount.txt
hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /wc/input/wordcount.txt /wc/output/
在mapreduce目錄下:
[root@zww mapreduce]# hadoop fs -ls /wc/
hadoop fs -ls /wc/output/
hadoop fs -cat /wc/output/part-r-00000
結果:
zww 1
hello 11
jjj 1
lalala 1
lir 1
ljr 2
rrr 1
www 2
zww 1
zzz 1
第六天學習
變數的作用域 區域性變數 在函式內部定義的變數,這個變數只能在函式內部使用,在全域性當中不能使用。使用就報錯了。全域性變數 在函式外部定義的變數,這個變數可以在全域性使用。但是我們一般不推薦使用全域性變數 因為可能會意外的修改掉變數的值。迫不得已不要用全域性變數 衝突處理原則 就近原則。而不是從上到...
學習第六天
還有九天,我就要去參加北大3日遊了。滑稽 像我這樣的蒟蒻去那也就是旅遊模式吧!無所謂了,隨便去考考,說不定有優秀營員呢?滑稽 不可能,絕對不可能 相信自己好了。這麼多天,好像把面試給忘了,雖然有人說面試是瞎 但是還是要準備準備的 明天看吧!還有什麼知識點沒看嗎?我們來看看st表和hash表吧!先看看...
學習android第六天
activity簡介 當在乙個activity中按下返回時,android os會自動銷毀activity物件 當在乙個activity中啟動另乙個activity時,當前activity不會被銷毀,而是被壓入activity棧中 activity的建立 1 自定義類,繼承activity 2 複寫...