6 月 30 日,阿里雲實時計算專場北京站,由來自格靈深瞳的大資料總監與阿里巴巴產品專家、技術專家一起與大家**實時計算的應用實踐與場景化解決方案。
實時計算是基於 apache flink 構建的一站式高效能實時大資料處理平台,在 pb 級別的資料集上可以支援亞秒級別的處理延時,賦能使用者標準實時資料處理流程和行業解決方案。2019 年 6 月阿里雲實時計算通過資料中心聯盟最新制定的大資料分布式流處理平台基礎能力評測,成為國內首批通過流計算產品能力評測的產品。
陳新宇 | 格靈深瞳 大資料總監
flink 作為下一代流計算引擎,以其高效、低延遲等特性獲得了大量關注與應用。格靈深瞳自2023年開始就將 flink 應用在生產之中,為客戶提供基於人臉識別的實時資料分析服務及面向不同行業的整體解決方案,本次分享介紹了 flink 在格靈深瞳人臉識別實時業務場景中的技術選型原因、具體應用、遇到的一些問題及改進。
高暘 | 阿里巴巴 高階產品專家
實時計算產品形態
產品架構 / 定位 / unified sql / unified runtime
阿里雲實時計算被整合方案
輕量化 paas 解決方案
實時計算典型場景
演進路線
典型場景
任春德 | 阿里巴巴 高階技術專家
本次分享從大資料領域,初露頭角的 kubernetes 如何 pk 日臻完善的基於 yarn 排程的平台、新一代的批流一體的大資料處理引擎 flink 與 kubernetes 結合形成的新平台有哪些優勢、如何將其構建成一套易運維、高可用、高利用率的平台等三部分內容進行分享。
趙開興 | 阿里巴巴 技術專家
阿里雲實時計算是基於 apache flink 開發的流式計算產品,其主要使用流式 flink sql 進行業務的開發工作,flink sql 符合標準 sql 語義,但由於加入了流式計算的概念,很多使用者在理解和使用 flink sql 過程中存在一些問題和困難,本次分享為大家梳理出了實時計算 sql 開發過程中常見的問題及解決方案。
Spark Streaming實時計算框架介紹
隨著大資料的發展,人們對大資料的處理要求也越來越高,原有的批處理框架mapreduce適合離線計算,卻無法滿足實時性要求較高的業務,如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架,通過它提供的豐富的api 基於記憶體的高速執行引擎,使用者可以結合流式 ...
Spark Streaming實時計算框架介紹
隨著大資料的發展,人們對大資料的處理要求也越來越高,原有的批處理框架mapreduce適合離線計算,卻無法滿足實時性要求較高的業務,如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架,通過它提供的豐富的api 基於記憶體的高速執行引擎,使用者可以結合流式 ...
Spark Streaming及實時計算介紹
spark streaming其實就是spark提供對於大資料進行實時計算的一種框架。它的底層,其實也是基於spark core。基本的計算模型還是基於記憶體的大資料實時計算模型。而且它的底層的元件或者叫做概念其實還是最核心的rdd。只不過針對實時計算的特點,在rdd之上進行了一層封裝,叫做dstr...