此時我們可以使用flink的批處理,我的data目錄下有a.txt檔案,輸入任意的單詞,然後我們開始統計。**如下:
public class batchhandler
}}).groupby(0).sum(1);
/*** filepath:檔案輸出結果檔案
* \n 以換行符作為每行結束條件
* " " 以空格分割單詞
* setparallelism 設定並行度為1表示單執行緒執行,預設為多執行緒並行處理,這裡不設定1會出現多個檔案為空的結果
*/set.writeascsv("/home/caozg/desktop/data/result","\n"," ").setparallelism(1);
environment.execute("batch execute is success!");
}}
最終的輸出結果在result檔案裡面。這裡注意幾點:
獲取執行環境和wordcount的不一樣,wordcount是流處理,這裡是批處理;對比如下:wordcount的環境
//獲取執行環境
streamexecutionenvironment env = streamexecutionenvironment.getexecutionenvironment();
//連線socket獲取輸入的資料
datastreamsourcetext = env.sockettextstream("127.0.0.1", port, "\n");
batch如下:
//1 獲取流式環境
executionenvironment environment = executionenvironment.getexecutionenvironment();
// 2 獲取檔案中的內容
string filepath="/home/caozg/desktop/data";
datasourcesource = environment.readtextfile(filepath);
flatmap聚合計算預設是並行處理,因此結果會出現多個空白檔案,而我為了方便觀察結果,設定了並行度為2
Sqlmap學習系列之二
1 v 按照官方文件說明,v 意為 verbose verbosity level 0 6 default 1 即 詳細等級包括0 6級,預設為1級 在測試語句最後以 v 等級 出現。經指正,詳細等級是指測試結果的輸出的詳細程度。2 level 按照官方文件說明,level level level ...
hibernate系列之二
首先先介紹一下持久化 持久化 將程式資料在持久狀態和瞬時狀態間轉換的機制 即將記憶體的資料永久存在關係型資料庫中 持久化類的編寫規則 持久化類需要提供無參構造方法 持久化類的屬性需要私有,對私有的屬性提供get set方法 持久化類的屬性盡量使用包裝類的型別 持久化類要有乙個唯一標識oid與表的主鍵...
C 學習系列之二 變數
1.什麼叫變數 變數是指在程式的執行過程中隨時可以發生變化的量。要使用變數,需要申明他們,所謂申明就是給變數指定型別和名稱。變數申明後就可以用它們做儲存單元,存放申明的資料型別的資料。變數名定義規則 變數名必須由字母 數字 下劃線組成不能與c 中關鍵字相同 格式 型別 變數名 例 string us...