Blink學習(四) 資料流

2021-09-25 11:53:12 字數 1146 閱讀 5490

1 api概述

datastream是blink對資料流進行的的抽象。每個資料流都需要指定乙個資料來源,並可以呼叫介面對資料流進行命名、配置並行度配置堆疊記憶體等。

對比storm的api,blink的api更多的是「面向資料」,而storm更多的是「面向操作」。storm的好處在於操作的定義非常靈活、精準,因此在學術界storm仍被廣泛使用。blink的特點是開發效率高,因此在工程界使用較多。

簡單定義乙個datastream的例子如下:

datastream

datastream = env

.addsource

(p4p_pv2_source)

.name

("p4p_pv2_source").

setresource

(resourcespec)

.setparallelism(2

);

特別說明下用於最終輸出的sink運算元。

outputtt.

addsink

(new

mysinkfunction

()).

setparallelism

(integer.

valueof

(params.

get(

"output.window.parallelism"))

).name

("sink"

);

addsink中須傳入用於輸出的方法類,該類應繼承自sinkfunction,並實現其中的invoke方法,blink會呼叫其中的invoke方法實現最終的sink。

2 datastream操作簡介

3 物理分組

blink可以指定上下游兩類例項中的對映關係,便於進行除錯和效能優化。

4 api層次

kinect學習筆記(四) 各種資料流

一 kinect開發的乙個流程圖 1 我們可以知道乙個簡單的框架就是幾部分 1 選擇使用的kinect感測器 kinectsensor.kinectsensors 0 2 開啟需要的資料流 kinect.depthstream.enable kinect.colorstream.enable kin...

TCP互動資料流 成塊資料流

tcp資料流分類 基於tcp的各類解決方案,可以根據資料吞吐量來大致分成兩大類 1 互動資料型別,例如telnet,ssh,這種型別的協議在大多數情況下只是做小流量的資料交換,比如說按一下鍵盤,回顯一些文字等等。2 資料成塊型別,例如ftp,這種型別的協議要求tcp能盡量的運載資料,把資料的吞吐量做...

資料流測試

回顧 路徑測試將程式 看做是一種有向圖,根據有向圖的拓撲結構結合某些覆蓋指標來設計測試用例。然而程式中不同語句之間往往會有依賴關係,使得拓撲結構上可行的路徑,在邏輯上並不可行,資料流測試可以解決上述問題。資料流測試指關注變數接收值的點和使用 或引用 這些值的點的結構性測試形式 資料流測試用作路徑測試...