1.編寫map函式,reduce函式
編寫兩個函式
2.將其許可權作出相應修改
3.本機上測試執行**
4.放到hdfs上執行
cd /home/hadoop/wcwget
wget
hdfs6.用hadoop streaming命令提交任務dfs - put / home / hadoop / hadoop / gutenberg / *.txt / user / hadoop / input
cd
/
usr
/
local
/
hadoop
/
share
/
hadoop
/
tools
/
lib
/
hadoop
-
streaming
-
2.7
.
1.jar
開啟環境變數配置檔案
gedit ~
/
.bashrc
在裡面寫入streaming路徑
export stream
=
$hadoop_home
/
share
/
hadoop
/
tools
/
lib
/
hadoop
-
streaming
-
*
.jar
讓環境變數生效:
source ~
/
.bashrc
echo $stream
建立乙個shell名稱為run.sh來執行:
1.編寫map函式,reduce函式
編寫兩個函式
2.將其許可權作出相應修改
3.本機上測試執行**
4.放到hdfs上執行
cd /home/hadoop/wcwget
wget
hdfs6.用hadoop streaming命令提交任務dfs - put / home / hadoop / hadoop / gutenberg / *.txt / user / hadoop / input
cd
/
usr
/
local
/
hadoop
/
share
/
hadoop
/
tools
/
lib
/
hadoop
-
streaming
-
2.7
.
1.jar
開啟環境變數配置檔案
gedit ~
/
.bashrc
在裡面寫入streaming路徑
export stream
=
$hadoop_home
/
share
/
hadoop
/
tools
/
lib
/
hadoop
-
streaming
-
*
.jar
讓環境變數生效:
source ~
/
.bashrc
echo $stream
建立乙個shell名稱為run.sh來執行:
第八次作業
練習題 1 怎麼查出通過 from xx import xx導 的可以直接調 的 法?在test package資料夾中建立 init py檔案,裡邊什麼都不需要編輯。在 中把test package的檔案的路徑加入到python直譯器可以搜尋到的路徑列表中,這裡就用到了python的包sys模組 ...
第八次作業
用python實現k均值演算法,鳶尾花花瓣長度資料做聚類並用散點圖顯示。import numpy as np 隨機生成乙個陣列 x np.random.randint 1,100,20,1 y np.zeros x.shape 0 dtype int k 3iris length 1.4,1.4,1...
第八次作業
問題 答案這個作業屬於那個課程 c語言程式設計ii 這個作業要求在 我在這個課程的目標是 更加熟練掌握markdown語法的相關用法 這個作業在那個具體方面幫助我實現目標 更加熟練的使用markdown,對本週知識總結 參考文獻 pta常見問題解析,c語言程式設計 1.pta實驗作業 1.1 求整數...