第十課記錄 MapReduce程式設計模型與案例

2021-08-07 13:48:07 字數 2162 閱讀 3505

#jps

#start-all.sh
(1) 首先啟動 namenode 

(2) 再啟動 datanode

(3) 再啟動 secodarynamenode (注意: secodarynamenode與namenode沒有半毛線的關係)

#hdfs dfsadmin -safemode get
輸出結果如: safe mode is off  (因為hadoop在安全模式環境下，它是唯讀的)

#hdfs dfs -cat /data/data.txt
內容如下:

i love beijing

i love china

beijing is the capital of china

#cd /root/training/hadoop-2.4.1/share/hadoop/mapreduce


#hadoop jar hadoop-mapreduce-examples-2.4.1.jar
結果: 為當前examples的jar包的所有功能支援

#hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount
結果: usage: wordcount 

#hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /data/data.txt /output/wcdata
結果: 

在沒有分割槽的情況下,預設是1個分割槽：

17/08/30 13:55:12 info mapreduce.job:  map 0% reduce 0%

17/08/30 13:55:20 info mapreduce.job:  map 100% reduce 0%

17/08/30 13:55:28 info mapreduce.job:  map 100% reduce 100%

如果有多個分割槽: 如3個分割槽 ------> 輸出檔案: 3個

17/08/30 13:55:12 info mapreduce.job:  map 0% reduce 0%

map 100% reduce 33%

map 100% reduce 67%

17/08/30 13:55:28 info mapreduce.job:  map 100% reduce 100%

此時開始處理資料，可通過yarn平台來監控運**況

#hdfs dfs -ls /output/1
結果:

found 2 items

-rw-r--r--   1 root supergroup          0 2017-08-30 13:55 /output/1/_success

-rw-r--r--   1 root supergroup         55 2017-08-30 13:55 /output/1/part-r-00000

#hdfs dfs -cat /output/1/part-r-00000
結果：特點----->排序 (預設的排序規則: 1、字串按照字典順序  2、數字公升序), 可以自定義排序規則(比較器）

非常重要:  開發乙個mr程式的之前，一定一定一定要畫圖，分析資料的流動過程（資料處理的過程)

第十課學習

按鍵在未按下時，處於一種高電平狀態，一般這種情況下，其對io口的電平一致，則不會產生任何效果，只有在按下狀態時，由於與接地的迴路貫通，故相當於微控制器的io口直接接地。從原理圖上看，之所以要接keyin1 keyin4外接至按鍵中，主要原因是為了獲取按鍵的狀態，因為我們只能獲取微控制器的io口狀態，...

第十課 邊框

無邊框 border style none 虛線邊框 border style dotted 虛線邊框 border style dashed 實線邊框 border style solid 雙邊框 border style double 凹槽邊框 border style groove 壟狀邊框 ...

第十課 函式

第十課 函式 一.定義函式 def 函式名 引數1,引數2,文件描述 函式體return 值 def 定義函式的關鍵字 函式名 函式名指向函式記憶體位址，是對函式體 的引用。函式的命名應該反映出函式的功能 括號 括號內定義引數，引數是可有可無的，且無需指定引數的型別 冒號 括號後要加冒號，然後在下一...