目錄
鏈結分布式檔案系統——hdfs
分布式計算框架——mapreduce
集群資源管理器——yarn
hadoop單機版環境搭建
hdfs 常用 shell 命令
目錄鏈結
flink安裝mac版
flink demo wordcount詞頻統計及單機任務提交
flink on yarn部署及任務提交
apache flink 零基礎入門(一&二):基礎概念解析
apache flink 零基礎入門(三):開發環境搭建和應用的配置、部署及執行
apache flink 零基礎入門(四):datastream api 程式設計
apache flink 零基礎入門(五):客戶端操作
apache flink 零基礎入門(六):flink time & window 解析
apache flink 零基礎入門(七):狀態管理及容錯機制
apache flink 零基礎入門(八):table api 程式設計
apache flink 零基礎入門(九):flink sql 程式設計實踐
目錄鏈結
apache flink 高階教程(一):runtime 核心機制剖析
apache flink 高階教程(二):time 深度解析
apache flink 高階教程(三):checkpoint 的應用實踐
apache flink 高階教程(四):flink on yarn/k8s 原理剖析及實踐
apache flink 高階教程(五):資料型別和序列化
apache flink 高階教程(六):flink 作業執行深度解析
apache flink 高階教程(七):網路流控及反壓剖析
apache flink 高階教程(八):詳解 metrics 原理與實戰
如何正確使用 flink connector
目錄鏈結
大資料技術基礎 22 講(上)
大資料技術基礎 22 講(下)
目錄鏈結
42講輕鬆通關flink學習筆記(上)
42講輕鬆通關flink學習筆記(中)
42講輕鬆通關flink學習筆記(下)
目錄鏈結
flink redis sink
目錄鏈結
mac下hadoop、hdfs、spark環境的安裝和搭建**)
spark本地除錯(idea)
目錄鏈結
spark實戰44講學習筆記(上)
目錄鏈結
hive簡介及核心概念
目錄鏈結
kafka簡介
基於zookeeper搭建kafka高可用集群
目錄鏈結
zookeeper簡介及核心概念
zookeeper單機環境和集群環境搭建
zookeeper常用shell命令
目錄鏈結
prometheus 介紹
利用sqoop將hive和mysql資料互匯入
目錄鏈結
梯度科技基於flink+clickhouse構建實時數倉在廣投集團的最佳實踐
大資料專題(一) 簡介
一 什麼是大資料 在網際網路技術發展到至今階段,大量日常,工作等事務產生的資料都已經資訊化,人類產生的資料量相比以前有了 式的增長,以前傳統的資料處理技術已經無法勝任,需求催生技術,一套用來處理海量資料的技術應運而生,這就是發資料技術。梳理海量資料的核心技術 這些核心技術的實現是不需要使用者從零開始...
大資料與雲安全專題 1
課程性質 教學內容 教材成績 雲計算案例 雲計算定義和特徵 大資料與雲安全專題 課程筆記 授課老師 沈晴霓 老師主要從事安全領域工作,與國家機關 軍方 大型企業合作多 實驗室主要從事作業系統 國內最高安全等級 有大量開源專案 後面從事雲作業系統開發 側重大資料中的系統和資料安全 機器學習的 演算法 ...
面試題目 大資料量專題
1.給你a,b兩個檔案,各存放50億條url,每條url占用64位元組,記憶體限制是4g,讓你找出a,b檔案共同的url。2.有10個檔案,每個檔案1g,每個檔案的每一行都存放的是使用者的query,每個檔案的query都可能重複。要你按照query的頻度排序 3.有乙個1g大小的乙個檔案,裡面每一...