StreamingPro 簡化流式計算配置

2021-09-23 18:04:32 字數 878 閱讀 9272

前言

前些天可以讓批處理的配置變得更優雅

streamingpro 支援多輸入,多輸出配置,現在流式計算也支援相同的配置方式了。

配置

首先需要配置源:

,

]}

我們配置了乙個kafka流,乙個普通的csv檔案。目前streamingpro只允許配置乙個kafka流,但是支援多個topic,按逗號分隔即可。你可以配置多個其他非流式源,比如從mysql,parquet,csv同時讀取資料並且對映成表。

之後你就可以寫sql進行處理了。

]},

我這裡做了簡單的join。

]}

然後把資料追加到mysql裡去。其實你也可以配置多個輸出。

完整配置

,]},

]},]}

],"configparams":

}}

你可以在

shome=/users/allwefantasy/streamingpro

--master local[2] \

--name test \

$shome/streamingpro-0.4.11-snapshot-online-1.6.1-jar-with-dependencies.jar \

-streaming.name test \

-streaming.platform spark \

-streaming.job.file.path file://$shome/batch.json

StreamingPro支援Flink的流式計算了

前言 有的時候我們只要按條處理,追求實時性而非吞吐量的時候,類似storm的模式就比較好了。spark 在流式處理一直缺乏改進,而flink在流式方面做得很棒,兩者高層的api也是互相借鑑,容易形成統一的感官,所以決定讓streamingpro適配flink,讓其作為streamingpro底層的流...

基於ACL的簡化流策略命令

traffic statistic 用來介面上配置基於acl的流量統計reset traffic statistics 用來清除裝置上基於acl的報文過濾的流量統計資訊 traffic filter 用來在介面上配置基於acl的報文過濾traffic secure 用來在介面上配置基於acl的報文過...

CUDA 7 Stream流簡化併發性

cuda 7 stream流簡化併發性 異構計算是指高效地使用系統中的所有處理器,包括 cpu 和 gpu 為此,應用程式必須在多個處理器上併發執行函式。cuda 應用程式通過在 streams 中執行非同步命令來管理併發性,這些命令是按順序執行的。不同的流可以併發地執行它們的命令,也可以彼此無序地...