單機環境下偽分布式集群環境搭建請參考:
本文將介紹第乙個hadoop程式具體怎麼執行。
執行環境為ubuntu14.04+eclipse+hadoop2.2.0。
2.hadoop2.2.0自帶的worldcount在$hadoop_home/share/hadoop/mapreduce/sourceshadoop-mapreduce-examples-2.2.0-sources.jar包中。
3.兩個版本的例子具體**略有不同,將當前版本的**拷貝到eclipse中之後,直接執行會報錯,找不到輸入檔案。此時需要新增兩行**,也是參考文章中特意說明過的地方。不過此處修改如下(標紅的部分):
configuration conf = new configuration();
conf.set("fs.default.name","hdfs://localhost:9000");
string ars=new string;
string otherargs = new genericoptionsparser(conf, ars).getremainingargs();
if (otherargs.length != 2)
此處conf是讀的是hadoop配置檔案,其中fs的位置需要重新顯示指明(參考資料2)。
修改之後即可執行,輸出結果可以通過瀏覽器檢視,位址如下http://localhost:50070/dfshealth.jsp;也可通過eclipse中hdfs檔案系統檢視。
參考資料
[1][2]
socket c s分布式程式設計
socket socket 介面介於應用程式與硬體之間。對 socket 的理解可以簡化為 它是封裝了資料流 stream 的從機器到機器的一條軟接線,通過這條軟接線,並借助於線兩端的收發程式,網路上的機器間實現了資訊的交流與互通。分離在軟線兩端的應用程式 伺服器端程式和客戶端程式 可以通過呼叫 s...
分布式 分布式鎖
本質是利用redis的setnx 方法的特性來加鎖,setnx 即key不存在則設定key,否則直接返回false,要求在分布式系統中使用同乙個redis服務,以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題,因為可能在鎖過期之後該執行緒尚未執行完...
分布式 分布式事務
是資料庫執行過程中的乙個邏輯單位,由乙個有限的資料庫操作序列構成。事務的acid四大特性 原子性 atomicity 事務作為乙個整體被執行。一致性 consistency 從乙個一致的狀態轉換到另乙個一致的狀態。隔離性 isolation 多個事務併發執行時,併發事務之間互相影響的程度。永續性 d...