1 api概述
datastream是blink對資料流進行的的抽象。每個資料流都需要指定乙個資料來源,並可以呼叫介面對資料流進行命名、配置並行度配置堆疊記憶體等。
對比storm的api,blink的api更多的是「面向資料」,而storm更多的是「面向操作」。storm的好處在於操作的定義非常靈活、精準,因此在學術界storm仍被廣泛使用。blink的特點是開發效率高,因此在工程界使用較多。
簡單定義乙個datastream的例子如下:
datastream
datastream = env
.addsource
(p4p_pv2_source)
.name
("p4p_pv2_source").
setresource
(resourcespec)
.setparallelism(2
);
特別說明下用於最終輸出的sink運算元。
outputtt.
addsink
(new
mysinkfunction
()).
setparallelism
(integer.
valueof
(params.
get(
"output.window.parallelism"))
).name
("sink"
);
addsink中須傳入用於輸出的方法類,該類應繼承自sinkfunction,並實現其中的invoke方法,blink會呼叫其中的invoke方法實現最終的sink。
2 datastream操作簡介
3 物理分組
blink可以指定上下游兩類例項中的對映關係,便於進行除錯和效能優化。
4 api層次
kinect學習筆記(四) 各種資料流
一 kinect開發的乙個流程圖 1 我們可以知道乙個簡單的框架就是幾部分 1 選擇使用的kinect感測器 kinectsensor.kinectsensors 0 2 開啟需要的資料流 kinect.depthstream.enable kinect.colorstream.enable kin...
TCP互動資料流 成塊資料流
tcp資料流分類 基於tcp的各類解決方案,可以根據資料吞吐量來大致分成兩大類 1 互動資料型別,例如telnet,ssh,這種型別的協議在大多數情況下只是做小流量的資料交換,比如說按一下鍵盤,回顯一些文字等等。2 資料成塊型別,例如ftp,這種型別的協議要求tcp能盡量的運載資料,把資料的吞吐量做...
資料流測試
回顧 路徑測試將程式 看做是一種有向圖,根據有向圖的拓撲結構結合某些覆蓋指標來設計測試用例。然而程式中不同語句之間往往會有依賴關係,使得拓撲結構上可行的路徑,在邏輯上並不可行,資料流測試可以解決上述問題。資料流測試指關注變數接收值的點和使用 或引用 這些值的點的結構性測試形式 資料流測試用作路徑測試...