hadoop wordcount程式缺陷

2022-05-27 01:51:10 字數 524 閱讀 6250

在wordcount 程式的main函式中,沒有讀取執行環境中的各種引數的值,全靠hadoop系統的預設引數跑起來,這樣做是有風險的,最突出的就是oom錯誤。

自己在剛剛學習hadoop程式設計時,就是模仿wordcount程式編寫。在資料量很小,作為demo程式跑,不會有什麼問題,但當資料量激增,變成以億計算時,各種問題都會出現。

所以一定要在main函式中,增加下面的**,讓程式去讀取環境配置檔案,得到你希望要的引數。

configuration.adddefaultresource("hdfs-default.xml");

configuration.adddefaultresource("hdfs-site.xml");

configuration.adddefaultresource("mapred-default.xml");

configuration.adddefaultresource("mapred-site.xml");

configuration conf = getconf();

hadoop wordcount例項編寫

mr例項分為兩個階段,乙個是map階段,乙個是reduce階段,中間用shuff來銜接,我們想執行mapreduce例項,只需要實現map業務和reduce業務邏輯即可。map實現 public class extends reduce實現 public class intsumreducer ex...

Linux Kernel Makefile預設目標

inux核心的makefile也不是一般的麻煩。這裡結合makefile本身的用法對linux核心的makefile做一分析。1 入口點 預設的makefile的入口點是第一條規則。而linux核心的makefile的第一條規則是這樣的 除去上面一長串賦值語句,來到 phony all all 是一...

如何更改Spring Boot應用程式的預設埠

預設情況下,spring boot應用程式通過埠8080在嵌入式tomcat上執行。為了更改預設埠,您只需要修改server.port屬性,該屬性將在執行時由spring boot應用程式自動讀取。在本教程中,我們提供了修改server.port屬性的常用方法。檔案,並在其中定義server.por...