flink 有cep複雜事件處理庫,spark中沒有cep處理庫,如何在spark中實現cep複雜事件處理? 業界普遍使用開源的drools規則引擎整合去處理,cloudera官方部落格就有spark 整合drools實現cep處理能力。
專案結構:
pom 檔案依賴配置:
2.2.0
2.11
2.11.8
6.5.0.final
org.scala-lang
scala-library
2.11.8
provided
org.apache.spark
spark-core_$
$provided
org.apache.spark
spark-streaming_$
$ org.apache.spark
spark-mllib_$
$provided
org.apache.spark
spark-hive_$
$provided
org.apache.spark
spark-graphx_$
$provided
org.apache.spark
spark-streaming-kafka-0-10_$
$ org.apache.spark
spark-sql-kafka-0-10_$
$
org.drools
drools-compiler
$
org.drools
drools-core
$
drools 規則檔案:
**:package rules
import com.lakala.drools.data.person;
rule "hello world"
when
b:person( age >= 18 );
then
system.out.println("***************drools**********===="+ b.getage() );
end
import com.lakala.drools.data.person
import org.apache.spark.
import org.drools.core.io.impl.classpathresource
import org.kie.internal.utils.kiehelper
/** * created by kevin on 2019/7/2.
*/object ****** )
sc.stop()
}}
執行測試:public class person implements serializable
public person(string name, int age)
private string name;
private int age;
public string getname()
public void setname(string name)
public int getage()
public void setage(int age)
}
spark drools整合測試6.5版本本地,集群模式都可以正常執行。與drools7.23整合時本地可以執行,提交到集群時出現空指標異常暫時沒有解決。7.x版本提交到集群執行跟flink的異常一致。
整合產品開發IPD
整合產品開發ipd 課程背景 整合產品開發 ipd integrated product development 於pace product and cycle excellence,即產品週期優化法,系全球領先的研發諮詢機構prtm公司提出的研發管理模式 是經過ibm公司五年的實踐,總結出來的一套...
IPD整合產品開發
ipd 一 ipd背景 整合產品開發 integrated product development,簡稱ipd 是一套產品開發的模式 理念與方法。ipd的思想 於美國prtm公司出版的 產品及生命週期優化法 簡稱pace product and cycle time excellence 一書,該書...
ADS整合開發環境
前身 arm sdt 後世 realview mdk rvds等。詳見本人的部落格 安裝rvds到windows7 目前ads的版本為1.2。相對於sdt,ads用code warrior ide整合開發環境代替了sdt的apm,用axd代替了adw。現代整合開發環境的一些基本特性如原始檔編輯器語法...