Flink學習系列之二 Flink批處理

2021-09-29 03:00:32 字數 1107 閱讀 6668

此時我們可以使用flink的批處理,我的data目錄下有a.txt檔案,輸入任意的單詞,然後我們開始統計。**如下:

public class batchhandler 

}}).groupby(0).sum(1);

/*** filepath:檔案輸出結果檔案

* \n 以換行符作為每行結束條件

* " " 以空格分割單詞

* setparallelism 設定並行度為1表示單執行緒執行,預設為多執行緒並行處理,這裡不設定1會出現多個檔案為空的結果

*/set.writeascsv("/home/caozg/desktop/data/result","\n"," ").setparallelism(1);

environment.execute("batch execute is success!");

}}

最終的輸出結果在result檔案裡面。這裡注意幾點:

獲取執行環境和wordcount的不一樣,wordcount是流處理,這裡是批處理;對比如下:wordcount的環境

//獲取執行環境

streamexecutionenvironment env = streamexecutionenvironment.getexecutionenvironment();

//連線socket獲取輸入的資料

datastreamsourcetext = env.sockettextstream("127.0.0.1", port, "\n");

batch如下:

//1 獲取流式環境

executionenvironment environment = executionenvironment.getexecutionenvironment();

// 2 獲取檔案中的內容

string filepath="/home/caozg/desktop/data";

datasourcesource = environment.readtextfile(filepath);

flatmap聚合計算預設是並行處理,因此結果會出現多個空白檔案,而我為了方便觀察結果,設定了並行度為2

Sqlmap學習系列之二

1 v 按照官方文件說明,v 意為 verbose verbosity level 0 6 default 1 即 詳細等級包括0 6級,預設為1級 在測試語句最後以 v 等級 出現。經指正,詳細等級是指測試結果的輸出的詳細程度。2 level 按照官方文件說明,level level level ...

hibernate系列之二

首先先介紹一下持久化 持久化 將程式資料在持久狀態和瞬時狀態間轉換的機制 即將記憶體的資料永久存在關係型資料庫中 持久化類的編寫規則 持久化類需要提供無參構造方法 持久化類的屬性需要私有,對私有的屬性提供get set方法 持久化類的屬性盡量使用包裝類的型別 持久化類要有乙個唯一標識oid與表的主鍵...

C 學習系列之二 變數

1.什麼叫變數 變數是指在程式的執行過程中隨時可以發生變化的量。要使用變數,需要申明他們,所謂申明就是給變數指定型別和名稱。變數申明後就可以用它們做儲存單元,存放申明的資料型別的資料。變數名定義規則 變數名必須由字母 數字 下劃線組成不能與c 中關鍵字相同 格式 型別 變數名 例 string us...