大資料框架入門基礎理解 MapReducer

2021-09-24 19:55:18 字數 1217 閱讀 9865

本教程中的**分為 3 個部分:

解釋 salescountryreducer 類

解釋 salescountrydriver 類

其次,我們導入庫軟體包。

**解釋:

2. 定義 『map』 函式

publicvoidmap(longwritable key,

text value,

outputcollectoroutput,

reporter reporter) throwsioexception

每次呼叫 『map()』 方法, 乙個鍵值 key-value 對 (『key』 和 『value』 在**裡) 被傳遞。

『map()』 方法開始被接受拆分輸入文字作為乙個引數,並使用分詞來拆分這些行成詞。

string valuestring = value.tostring();

string singlecountrydata = valuestring.split(「,」);

這裡,「,」 被用作分隔符。

在這之後,使用記錄在陣列  『singlecountrydata』 中的第七索引,其值為 『1』.

output.collect(new text(singlecountrydata[7]), one);

我們在選擇第7索引記錄,因為我們需要的國家資料,它位於陣列 『singlecountrydata』 的第七索引。

請注意,我們輸入的資料是下面的格式 (country 在索引的位置為:7,  0 是開始的索引)-

transaction_date,product,price,payment_type,name,city,state,country,account_created,last_login,latitude,longitude

在本節中,我們將了解 salescountryreducer 類的實現。

1. 我們首先為類指定包的名稱。salescountry 是包的名稱。請注意編譯的輸出, salescountryreducer.class 將進入命名這個軟體包名稱目錄: salescountry.

其次,我們導入庫軟體包。

以下快照顯示實現 salescountryreducer 類

**解釋:

1. salescountryreducer 類定義 –

public class salescountryreducer extends mapreducebase implements reducer

Spring框架入門01 理解Spring的DI

ps 很少寫博 看了一篇文章受了刺激 決定也寫寫部落格 文筆很次大家喜歡看就看,不喜歡也別拍磚 很久很久以前 在美麗的城堡裡面住著一位漂亮的公主,他和他的家人 朋友幸福的生活著 有一天 的格格巫來到了這個城堡,他看見了漂亮的公主於是她決定要將公主搶走 格格巫使用了乙個 的魔法將公主抓了起來,公主很害...

大資料入門 Impala框架基礎簡介

在大資料處理當中,核心的資料分析處理環節,衍生出了非常多的框架元件工具,基於不同場景下的需求,給出了更多可選的技術方案。比如說在互動式查詢場景下,impala就是乙個不可忽視的重要選擇。今天的大資料入門分享,我們就來講講impala框架入門的一些基礎知識。impala的出現,追溯其源頭,是來自於go...

最簡單的CI框架入門示例 資料庫取資料

這個寫給初學者看,這是最簡單可以調通的例子,網上很多例子其實初學者本地跑不通,缺這少那。2.配置 database.php配置 為資料庫伺服器設定 connection 引數 db default hostname your db host db default username your user...