大資料專題

2021-10-06 20:05:48 字數 1552 閱讀 4930

目錄

鏈結分布式檔案系統——hdfs

分布式計算框架——mapreduce

集群資源管理器——yarn

hadoop單機版環境搭建

hdfs 常用 shell 命令

目錄鏈結

flink安裝mac版

flink demo wordcount詞頻統計及單機任務提交

flink on yarn部署及任務提交

apache flink 零基礎入門(一&二):基礎概念解析

apache flink 零基礎入門(三):開發環境搭建和應用的配置、部署及執行

apache flink 零基礎入門(四):datastream api 程式設計

apache flink 零基礎入門(五):客戶端操作

apache flink 零基礎入門(六):flink time & window 解析

apache flink 零基礎入門(七):狀態管理及容錯機制

apache flink 零基礎入門(八):table api 程式設計

apache flink 零基礎入門(九):flink sql 程式設計實踐

目錄鏈結

apache flink 高階教程(一):runtime 核心機制剖析

apache flink 高階教程(二):time 深度解析

apache flink 高階教程(三):checkpoint 的應用實踐

apache flink 高階教程(四):flink on yarn/k8s 原理剖析及實踐

apache flink 高階教程(五):資料型別和序列化

apache flink 高階教程(六):flink 作業執行深度解析

apache flink 高階教程(七):網路流控及反壓剖析

apache flink 高階教程(八):詳解 metrics 原理與實戰

如何正確使用 flink connector

目錄鏈結

大資料技術基礎 22 講(上)

大資料技術基礎 22 講(下)

目錄鏈結

42講輕鬆通關flink學習筆記(上)

42講輕鬆通關flink學習筆記(中)

42講輕鬆通關flink學習筆記(下)

目錄鏈結

flink redis sink

目錄鏈結

mac下hadoop、hdfs、spark環境的安裝和搭建**)

spark本地除錯(idea)

目錄鏈結

spark實戰44講學習筆記(上)

目錄鏈結

hive簡介及核心概念

目錄鏈結

kafka簡介

基於zookeeper搭建kafka高可用集群

目錄鏈結

zookeeper簡介及核心概念

zookeeper單機環境和集群環境搭建

zookeeper常用shell命令

目錄鏈結

prometheus 介紹

利用sqoop將hive和mysql資料互匯入

目錄鏈結

梯度科技基於flink+clickhouse構建實時數倉在廣投集團的最佳實踐

大資料專題(一) 簡介

一 什麼是大資料 在網際網路技術發展到至今階段,大量日常,工作等事務產生的資料都已經資訊化,人類產生的資料量相比以前有了 式的增長,以前傳統的資料處理技術已經無法勝任,需求催生技術,一套用來處理海量資料的技術應運而生,這就是發資料技術。梳理海量資料的核心技術 這些核心技術的實現是不需要使用者從零開始...

大資料與雲安全專題 1

課程性質 教學內容 教材成績 雲計算案例 雲計算定義和特徵 大資料與雲安全專題 課程筆記 授課老師 沈晴霓 老師主要從事安全領域工作,與國家機關 軍方 大型企業合作多 實驗室主要從事作業系統 國內最高安全等級 有大量開源專案 後面從事雲作業系統開發 側重大資料中的系統和資料安全 機器學習的 演算法 ...

面試題目 大資料量專題

1.給你a,b兩個檔案,各存放50億條url,每條url占用64位元組,記憶體限制是4g,讓你找出a,b檔案共同的url。2.有10個檔案,每個檔案1g,每個檔案的每一行都存放的是使用者的query,每個檔案的query都可能重複。要你按照query的頻度排序 3.有乙個1g大小的乙個檔案,裡面每一...