xx1,xx2代表輸入資料鍵值對的型別 xx3,xx4代表輸出時鍵值對的型別
寫呼叫並map方法,將資料放到陣列中,迴圈陣列,得到輸出結果
判斷輸入資料型別,基本資料型別不能做序列化處理,text重寫了string,intwriteable重寫了long
寫呼叫並reduce方法,將資料聚合(統計資料),得到輸出結果
int sum=0;
for(intwritable i:iter)
context.write(key, new intwritable(sum));
iterable iter --迭代器(假),因為需要直接傳參給reduce
runjob:
趨近於格式化,參考**如下
public class runjob
fileoutputformat.setoutputpath(job, outpath);
//開始執行
boolean f =job.waitforcompletion(true);
if(f)
} catch (exception e)
初識python,編寫乙個簡單的python程式
在ubuntu下安裝好了最新的python3.9,開啟學習python之旅。在命令列輸入python進入互動模式 互動模式下,你每輸入一行 python直譯器就將這一行 轉換成機器碼來執行。例如 互動模式輸入100 200,然後回車 直接會顯示執行結果300 但是這樣的 是沒有儲存的,如果下次我們還...
chapter 初識1 0 編寫第乙個爬蟲
因為之前就對python有所了解,所以就不對python的安裝與環境配置有過多的說明了 這好像也不是初識哦,哈哈 這裡使用python3.7 spyder整合開發環境,因為使用的是anaconda自帶很多第三方庫所以這裡就不對第三方庫的匯入有過多的說明了。編寫第乙個簡單的爬蟲 coding utf ...
docker初識 Docker 初識
一 docker 簡介 docker是乙個開源的應用容器,使用者可以將web程式和服務打包到乙個輕量級 可以移植的容器中,然後發布到任務流行的linux伺服器上,實現虛擬化。同時完全是沙箱操作,即docker內部是乙個沙箱操作,專案之間不會有任何介面,並且開銷極低。二 docker centos 安...