前言
前些天可以讓批處理的配置變得更優雅
streamingpro 支援多輸入,多輸出配置,現在流式計算也支援相同的配置方式了。
配置
首先需要配置源:
,
]}
我們配置了乙個kafka流,乙個普通的csv檔案。目前streamingpro只允許配置乙個kafka流,但是支援多個topic,按逗號分隔即可。你可以配置多個其他非流式源,比如從mysql,parquet,csv同時讀取資料並且對映成表。
之後你就可以寫sql進行處理了。
]},
我這裡做了簡單的join。
]}
然後把資料追加到mysql裡去。其實你也可以配置多個輸出。
完整配置
,]},
]},]}
],"configparams":
}}
你可以在
shome=/users/allwefantasy/streamingpro
--master local[2] \
--name test \
$shome/streamingpro-0.4.11-snapshot-online-1.6.1-jar-with-dependencies.jar \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file://$shome/batch.json
StreamingPro支援Flink的流式計算了
前言 有的時候我們只要按條處理,追求實時性而非吞吐量的時候,類似storm的模式就比較好了。spark 在流式處理一直缺乏改進,而flink在流式方面做得很棒,兩者高層的api也是互相借鑑,容易形成統一的感官,所以決定讓streamingpro適配flink,讓其作為streamingpro底層的流...
基於ACL的簡化流策略命令
traffic statistic 用來介面上配置基於acl的流量統計reset traffic statistics 用來清除裝置上基於acl的報文過濾的流量統計資訊 traffic filter 用來在介面上配置基於acl的報文過濾traffic secure 用來在介面上配置基於acl的報文過...
CUDA 7 Stream流簡化併發性
cuda 7 stream流簡化併發性 異構計算是指高效地使用系統中的所有處理器,包括 cpu 和 gpu 為此,應用程式必須在多個處理器上併發執行函式。cuda 應用程式通過在 streams 中執行非同步命令來管理併發性,這些命令是按順序執行的。不同的流可以併發地執行它們的命令,也可以彼此無序地...