課程介紹:
本套教程另闢蹊徑,針對flink 1.12.0版本的核心模組進行原始碼級講解,從任務提交流程、通訊過程、task排程、記憶體模型四大方面入手,庖丁解牛逐行分析原始碼,手術刀級別剖析flink核心架構!
課程目錄:
00.flink核心解析_課程簡介
01.flink核心解析_提交流程_程式入口
02.flink核心解析_提交流程_引數解析
03.flink核心解析_提交流程_選擇哪種命令列客戶端
04.flink核心解析_提交流程_封裝有效配置和程式
05.flink核心解析_提交流程_執行使用者**
06.flink核心解析_提交流程_啟動am
07.flink核心解析_提交流程_集群啟動_建立resourcemanager
08.flink核心解析_提交流程_集群啟動_建立dispatcher
09.flink核心解析_提交流程_集群啟動_dispatcher啟動jobmaster
10.flink核心解析_提交流程_集群啟動_rm初始化和啟動slotmanager
11.flink核心解析_提交流程_集群啟動_slotpool向rm申請資源
12.flink核心解析_提交流程_集群啟動_啟動taskmanager
13.flink核心解析_提交流程_集群啟動_向resourcemanager註冊slot
14.flink核心解析_提交流程_集群啟動_slotmanager分配slot
15.flink核心解析_提交流程_集群啟動_向jobmanager提供slot
16.flink核心解析_提交流程_整體流程圖
17.flink核心解析_課程回顧
18.flink核心解析_元件通訊_actor模型&actor系統簡介
19.flink核心解析_元件通訊_flink中的actor&非同步訊息
20.flink核心解析_元件通訊_akka的使用簡介
21.flink核心解析_元件通訊_與actor通訊
22.flink核心解析_元件通訊_rpc_rpcgateway介紹
23.flink核心解析_元件通訊_rpc_rpcendpoint介紹
24.flink核心解析_元件通訊_rpc_rpcservice&rpcserver
25.flink核心解析_元件通訊_rpc_akkarpcactor
26.flink核心解析_元件通訊_rpc互動_請求傳送
27.flink核心解析_元件通訊_rpc互動_請求響應
28.flink核心解析_元件通訊_rpc通訊過程圖
29.flink核心解析_任務排程_graph的相關概念
30.flink核心解析_任務排程_streamgraph在client生成
31.flink核心解析_任務排程_jobgraph在client生成
32.flink核心解析_任務排程_executiongraph的生成位置
33.flink核心解析_任務排程_executiongraph的生成
34.flink核心解析_任務排程_task的排程
35.flink核心解析_任務排程_task的執行
36.flink核心解析_任務排程_排程的相關概念
37.flink核心解析_任務排程_整體流程梳理
38.flink核心解析_任務排程_整體流程圖
39.flink核心解析_記憶體管理_jobmanager記憶體模型
40.flink核心解析_記憶體管理_taskmanager記憶體模型(重點)
41.flink核心解析_記憶體管理_記憶體分配
42.flink核心解析_記憶體管理_記憶體資料結構
43.flink核心解析_記憶體管理_記憶體管理器
44.flink核心解析_記憶體管理_網路傳輸中的記憶體管理
大資料技術之kylin tableau
kylin tableau hive 就是字面意思,大型資料倉儲,這邊用了乙個叫kylin 的東西 從hive 取資料生成cube 以key value 的方式存在hbase 裡面 hbase 對接tableau 等報表工具 hbase 中 cube 存的是 每個緯度的資訊 下圖是有四個緯度夠成的c...
大資料技術之Hadoop(MapReduce)
mapreduce是乙個分布式運算程式的程式設計框架,是使用者開發 基於hadoop的資料分析應用 的核心框架 mapreduce核心功能是將使用者編寫的業務邏輯 和自帶預設元件整合成乙個完整的分布式運算程式,併發執行在乙個hadoop集群上。1 海量資料在單機上處理因為硬體資源限制,無法勝任 2 ...
大資料技術之Hadoop解析
大資料技術之hadoop解析。1 資料現狀 2006年數字世界 digital universe 專案統計得出全球資料總量為0.18zb,2011年將達到1.8zb 1zb 1 000eb 1 000 000pb 1 000 000 000tb 資料增長速度也在加快。2 資料的儲存 資料讀取速度慢 ...