2021最新大資料技術之Flink核心原始碼解析課程

2021-10-19 18:15:32 字數 1935 閱讀 1559

課程介紹:

本套教程另闢蹊徑,針對flink 1.12.0版本的核心模組進行原始碼級講解,從任務提交流程、通訊過程、task排程、記憶體模型四大方面入手,庖丁解牛逐行分析原始碼,手術刀級別剖析flink核心架構!

課程目錄:

00.flink核心解析_課程簡介

01.flink核心解析_提交流程_程式入口

02.flink核心解析_提交流程_引數解析

03.flink核心解析_提交流程_選擇哪種命令列客戶端

04.flink核心解析_提交流程_封裝有效配置和程式

05.flink核心解析_提交流程_執行使用者**

06.flink核心解析_提交流程_啟動am

07.flink核心解析_提交流程_集群啟動_建立resourcemanager

08.flink核心解析_提交流程_集群啟動_建立dispatcher

09.flink核心解析_提交流程_集群啟動_dispatcher啟動jobmaster

10.flink核心解析_提交流程_集群啟動_rm初始化和啟動slotmanager

11.flink核心解析_提交流程_集群啟動_slotpool向rm申請資源

12.flink核心解析_提交流程_集群啟動_啟動taskmanager

13.flink核心解析_提交流程_集群啟動_向resourcemanager註冊slot

14.flink核心解析_提交流程_集群啟動_slotmanager分配slot

15.flink核心解析_提交流程_集群啟動_向jobmanager提供slot

16.flink核心解析_提交流程_整體流程圖

17.flink核心解析_課程回顧

18.flink核心解析_元件通訊_actor模型&actor系統簡介

19.flink核心解析_元件通訊_flink中的actor&非同步訊息

20.flink核心解析_元件通訊_akka的使用簡介

21.flink核心解析_元件通訊_與actor通訊

22.flink核心解析_元件通訊_rpc_rpcgateway介紹

23.flink核心解析_元件通訊_rpc_rpcendpoint介紹

24.flink核心解析_元件通訊_rpc_rpcservice&rpcserver

25.flink核心解析_元件通訊_rpc_akkarpcactor

26.flink核心解析_元件通訊_rpc互動_請求傳送

27.flink核心解析_元件通訊_rpc互動_請求響應

28.flink核心解析_元件通訊_rpc通訊過程圖

29.flink核心解析_任務排程_graph的相關概念

30.flink核心解析_任務排程_streamgraph在client生成

31.flink核心解析_任務排程_jobgraph在client生成

32.flink核心解析_任務排程_executiongraph的生成位置

33.flink核心解析_任務排程_executiongraph的生成

34.flink核心解析_任務排程_task的排程

35.flink核心解析_任務排程_task的執行

36.flink核心解析_任務排程_排程的相關概念

37.flink核心解析_任務排程_整體流程梳理

38.flink核心解析_任務排程_整體流程圖

39.flink核心解析_記憶體管理_jobmanager記憶體模型

40.flink核心解析_記憶體管理_taskmanager記憶體模型(重點)

41.flink核心解析_記憶體管理_記憶體分配

42.flink核心解析_記憶體管理_記憶體資料結構

43.flink核心解析_記憶體管理_記憶體管理器

44.flink核心解析_記憶體管理_網路傳輸中的記憶體管理

大資料技術之kylin tableau

kylin tableau hive 就是字面意思,大型資料倉儲,這邊用了乙個叫kylin 的東西 從hive 取資料生成cube 以key value 的方式存在hbase 裡面 hbase 對接tableau 等報表工具 hbase 中 cube 存的是 每個緯度的資訊 下圖是有四個緯度夠成的c...

大資料技術之Hadoop(MapReduce)

mapreduce是乙個分布式運算程式的程式設計框架,是使用者開發 基於hadoop的資料分析應用 的核心框架 mapreduce核心功能是將使用者編寫的業務邏輯 和自帶預設元件整合成乙個完整的分布式運算程式,併發執行在乙個hadoop集群上。1 海量資料在單機上處理因為硬體資源限制,無法勝任 2 ...

大資料技術之Hadoop解析

大資料技術之hadoop解析。1 資料現狀 2006年數字世界 digital universe 專案統計得出全球資料總量為0.18zb,2011年將達到1.8zb 1zb 1 000eb 1 000 000pb 1 000 000 000tb 資料增長速度也在加快。2 資料的儲存 資料讀取速度慢 ...