MapReduce程式設計中常用的字元操作

2022-07-15 09:45:10 字數 2080 閱讀 3067

string str = "  12345";

// 字串中是否包含某子字串

system.out.println(str.contains("123"));

// 返回索引位置

system.out.println(str.indexof("1"));

// 擷取字串,從索引0開始到索引3(包括前不包括後) 只有乙個引數時表示從該索引一直擷取到最後

string str2 = str.substring(0, 3);

system.out.println(str2);

// 擷取第乙個逗號以前的字串

string str1 = "1,2,3,4,5";

string substring = str1.substring(0, str1.indexof(","));

system.out.println(substring);

// 字串替換

system.out.println(str.replace("123", "321"));

// trim()去除字串兩邊的空格 ltrim()去除左邊的空格 rtrim()去除右邊的空格

system.out.println(str.trim());

// ==比較的是2個字串是否指向同一位址,equals()比較的是實際字串,比如大小寫,長度等

//		將字串陣列轉化成字串	 import org.apache.commons.lang.stringutils;

string array = ;

system.out.println(stringutils.join(array,','));

//字串按,或;分割成陣列

string str = "abc,def;gh,ij;k;lm,no,p;qr,st";

string temp = str.split("[,;]");

// arrays.tostring()方法,陣列輸出為字串 格式[abc, def, gh, ij, k, lm, no, p, qr, st]

system.out.println(arrays.tostring(temp));

// 字串陣列的擷取

string a = ;

//包括前不包括後

string b = arrays.copyofrange(a, 0, 5);

system.out.println(stringutils.join(b,","));

//		string 是不可變的物件,經常改變內容的字串最好不要用 string ,因為每次生成物件都會對系統效能產生影響

// stringbuilder執行緒不安全的(用在字串緩衝區被單個執行緒使用的時候)  優先考慮使用,速度快

// stringbuffer執行緒安全的(用於多執行緒)

// stringbuilder sb = new stringbuilder();

// 在最後追加

// 在索引位置前插入

// sb.insert(1, "a");

// 刪除指定索引位置的字元 刪除最後乙個字元

// sb.deletecharat(sb.length()-1);

// 刪除指定索引的字串,包括前不包括後

// sb.delete(0, 1);

// system.out.println(sb.tostring());

mapreduce處理的文字格式都是utf-8,如果輸入的正文編碼格式是gbk,可以自定義方法,將其轉為utf-8

// 處理gbk格式的輸入檔案 text text1 = transformtexttoutf8(value, "gbk");

public static text transformtexttoutf8(text text, string encoding) catch (unsupportedencodingexception e)

return new text(value);

}

MapReduce的程式設計規範

mapreduce 的開發一共有八個步驟,其中 map 階段分為 2 個步驟,shuffle 階段 4個步驟,reduce 階段分為 2 個步驟 map 階段 2 個步驟 1.設定 inputformat 類,將資料切分為 key value k1和v1 對,輸入到第二步 2.自定義 map 邏輯,...

Mapreduce的api程式設計

keyin 輸入的key是maptask所讀取到的一行文字的起始偏移量,long valuein 輸入的value的型別,輸入的value是maptask所讀取到的一行文字內容,string keyout 我們在本邏輯中輸出單詞做key,string valueout 我們在本邏輯中輸出 作valu...

MapReduce程式設計模型

計算採用一組輸入鍵 值對,並產生一組輸出鍵 值對。mapreduce庫的使用者將計算表達為兩個函式 map和reduce。input1 map a,1 b,1 c,1 input2 map b,1 input3 map a,1 c,1 reduce c,2 reduce b,2 reduce a,2...