MapReduce Hbase介面API實踐

2021-09-20 09:21:13 字數 1271 閱讀 9520

讀取hdfs中檔案並做處理,取出卡號,通過卡號連線hbase查詢出對應客戶號,寫入redis,因為不用輸出,所以不呼叫context.write方法,整個操作在乙個map中便可完成

protected

htable connect

//protected

void setup(context context) throws

ioexcption,interruptedexception

protected

void

map(writable key,text value,context context)

else

else

//從hbase中查詢出對應客戶號

string rowkey =htablemanager.generatrowkey(cardno);

get getresult = new

get(rowkey.getbytes());

result rs =connect.get(getresult);

string curno = bytes.tostring(rs.getvalue("f1".getbytes(),"column_name".getbtes());

redisclient.getredisclient().zincrbyset("spending:rank",countnum,custno);

protected void cleanup(context context)throws ioexception,interruptedexception

public

static string split(string value,string separator,boolean

trimspace)

}return

rtn;

}public

static

string split(string value,string separator)

separator =escapeexprspecialword(deparator);

if(endblank)

}return

rtn;

}public

static

string escapeexprspecialword(string keyword);

for(string key : fbsarr)}}

return

keyword;

}

MapReduce Hbase介面API實踐

讀取hdfs中檔案並做處理,取出卡號,通過卡號連線hbase查詢出對應客戶號,寫入redis,因為不用輸出,所以不呼叫context.write方法,整個操作在乙個map中便可完成 protected htable connect protected void setup context conte...

IRelationalOperator 介面的應用

irelationaloperator介面用來確定兩個圖形之間存在的空間關係,空間關係型別包括包含 相交 相等 相接 不相交 重疊 內部等。irelationaloperator介面主要方法有以下8個 1 contains包含關係 包含關係只存在於以下6種情況 點包含點 線包含點 線包含線 面包含點...

IT界匱乏名師

國內著名人力資源專家唐漢祺認為,目前中國it培訓界匱乏名師。為什麼it培訓界匱乏名師?唐漢祺分析認為 1 門檻過低,對學歷基本沒有太多要求。隨著it培訓的遍地開花,對師資的需求直線上公升,而真正的it教師儲備不足。因此,導致了it培訓機構的任課老師良莠不齊。it業的技術發展與知識更新日新月異,很可能...