這兩個會議之一是關於如何將機器學習和大資料分析應用於實時事件處理的。 我還介紹了與微服務的關係,即如何利用微服務概念(例如12因子應用程式 ,容器(例如docker ),雲平台(例如kubernetes , cloud foundry )或devops)來構建敏捷的智慧型微服務。
由於移動,雲和物聯網,數位化轉型正在向前推進。 顛覆性的業務模型利用了大資料分析和機器學習。
「大資料」目前是大肆宣傳。 大量歷史資料儲存在hadoop或其他平台中。 商業智慧型工具和統計計算用於汲取新知識並從該資料中查詢模式,例如用於**,交叉銷售或欺詐檢測。 關鍵的挑戰是如何將這些發現從歷史資料實時整合到新交易中,以使客戶滿意,增加收入或防止欺詐。 通過流處理的「快速資料」是將模式(通過分析歷史資料獲得的)實時嵌入未來交易的解決方案。
本次會議使用一些現實世界的成功故事來解釋流處理背後的概念及其與hadoop和其他大資料平台的關係。 它討論了如何通過使用幾個不同的實際案例研究,將r,spark mllib,h2o和其他技術的模式和統計模型整合到實時處理中。 會議還指出了為什麼微服務架構可以幫助解決此類專案的敏捷需求。
對可用的開源框架和商業產品的簡要概述顯示了實現流處理的可能選項,例如apache storm,apache flink,spark流,ibm infosphere streams或tibco streambase。
現場演示演示了如何實現流處理,如何整合機器學習以及除通過web ui和推送事件進行自動處理外還可以啟用人工操作。
kaiwähner的微服務
Launchable將機器學習應用於軟體測試
與jenkins ci cd平台的建立者川口浩介 kohsuke kawaguchi 共同創立的startup launchable 正在將機器學習應用於軟體測試。該公司的技術可以在源 發生更改的情況下 每次測試失敗的可能性。launchable仍處於隱身模式,可以提供 更智慧型 的測試和 更快 的...
python應用於網路 python應用於網路通訊
專案需要用到採用python實現維護測試工具,測試物件是linux裝置,需要在pc端採用python獲取linux裝置相關資訊 一 採用udp獲取普通資訊 udpserver socket af inet,sock dgram udpserver.bind ip,port data,client a...
將devop應用於資料科學和機器學習
資料科學家與軟體開發人員有一些共同的實踐和需求。資料科學家和軟體工程師都計畫,構造,編碼,迭代,測試和部署 以實現其目標。對於軟體開發人員來說,這通常意味著定製編碼應用程式和微服務。資料科學家與dataops進行資料整合,通過分析模型進行 並建立儀表板以幫助終端使用者瀏覽結果。希望實現運營工程師自動...