雷頓學院大資料課程大綱（第一期）
學 時：75 課時
適用物件：雷頓學院招收大資料班全體學員
一、課程的性質與目標
網際網路企業作為大資料的發源地，一直都是大資料應用與技術快速發展的行業。作為大資料從業者，進入網際網路企業工作，一直都是學習大資料與成就自己的最佳選擇。目前網際網路作為國內最熱門的 it 前沿陣地，逐漸成為熱門轉型與從業方向。本課程系統地介紹了網際網路大資料發展歷史及最新進展，從而完整地還原了網際網路大資料的 業務場景與開發技術。針對重點內容進行深入講解，讓學員掌握目前網際網路大資料最常使用的研發與分析技能 。
二、課程的主要內容
第一章 hadoop生態體系(6課時)
1.1 大資料行業發展與技術應用
1.2 hadoop起源
1.3 hadoop生態體系簡介（hdfs mapreduce hive等）
1.4 hadoop 3.0新特性
1.5 hadoop 2.x 安裝的三種模式（集群，偽分布式，local）
1.6 hadoop配置檔案解析
第二章 大資料檔案系統hdfs（5課時）
2.1 hdfs設計與基本概念
2.2 hdfs的體系結構
2.3 hdfs儲存原理
2.4 hdfs資料讀寫過程
2.5 hdfs命令操作
第三章 mapreduce原理及實戰（5課時）
3.1 mapreduce工作流程
3.2 wordcount案例實戰
3.3 mapreduce作業執行機制
3.4 mapreduce shuffle過程
3.5 mapreduce作業調優
第四章 hive資料倉儲技術（12課時）
4.1 hive系統概述
4.2 hive安裝配置
4.3 hive與傳統資料庫的對比
4.4 hive資料型別
4.5 hive表型別與操作
4.6 hive儲存格式與壓縮
4.7 hive 查詢
4.8 hive常用函式
4.9 使用者定義函式
4.10 hive資料傾斜問題
4.11 hive效能優化
第五章 分布式資料庫hbase（5課時）
5.1 hbase概念和資料模型
5.2 hbase的系統架構
5.3 hbase集群搭建
5.4 hbase shell操作命令
5.5 hbase效能調優
第六章 spark原理與運算元操作（7課時）
6.1 spark執行機制和安裝
6.2 spark執行和作業提交
6.3 rdd程式設計課時一
6.4 rdd程式設計課時二
6.5 spark dataframe和dataset
第七章 spark sql程式設計（7課時）
7.1 spark session介紹
7.2 rdd與dataframe轉化
7.3 載入資料與儲存資料
7.4 jdbc鏈結資料庫
7.5 spark hive操作表和sparkapi
7.6 spark配置和調優
第八章 spark 實時計算（12課時）
8.1 spark streaming大資料實時計算介紹
8.2 dstream工作原理
8.3 input streams 和 receivers原理講解
8.4 dstream上的轉換
8.5 dstream上的輸出
8.6 spark streaming updatestatebykey實時wordcount程式
8.7 spark streaming 轉換成dataframe
8.8 spark streaming快取與持久化
8.9 spark streaming部署和監控
8.10 spark streaming效能調優
第九章 kafka核心技術（9課時）
9.1 kafka概念與功能
9.2 kafka架構圖與工作流
9.3 kafka集群搭建
9.4 kafka特性詳解
9.5 提交與偏移量
9.6 訊息發布與訂閱
第十章 elasticsearch核心技術（9課時）
10.1 elasticsearch介紹
10.2 elasticsearch安裝部署
10.3 es儲存原理
10.4 資料輸入和輸出
10.5 es資料查詢
10.6 分布式檢索原理
10.7 組合過濾
10.8 資料聚合
10.9 es優化技巧
三、學時分配
章節課時
第一章 hadoop生態體系
第二章 大資料檔案系統hdfs
第三章 mapreduce實戰及原理
第四章 hive資料倉儲技術
第五章 分布式資料庫hbase
第六章 spark原理與運算元操作
第七章 spark sql程式設計
第八章 spark 實時計算
第九章 kafka核心技術
第十章 elasticsearch核心技術合計
課程鏈結
老男孩上海第一期學員陳雷雷 決心書
很高興能在老男孩學習linux運維課程,入學前薪資5.5k 我希望我在結業後能達到11k的水平,我深知達到目標的困難程度 但作為上海1期的首批學員,不能給學校和自己丟臉 為達目標,我決定 學習期間不玩lol,不玩王者榮耀,沒有週末,每日7.30 起床 晚上12點入睡每天堅持總結當天所學知識,當周知識...
有讚Data 第一期大資料技術沙龍 網易有數
從底層邏輯到上層應用，全面分享資料如何賦能運營 面對面 各個場景最優的大資料技術方案 深入解讀大資料技術和發展趨勢，剖析最符合業務需求的大資料應用 限量發售200票 30張早鳥票 保證有位置可坐 早到有驚喜，前50名準備了價值88元的有讚伴手禮，前100名準備了價值35元的小心意 13 00 14 ...
成都大資料科技產業園5月開建 一期工程年底建成
挖掘機轟鳴 大貨車進出 昨日8點剛過，位於崇州經開區的成都大資料科技產業園暨四川省資訊保安產業示範園區產城一體建設專案 產業園區四橫四縱道路及配套設施工程施工場地就忙碌起來了。作為四川省首個開建的大資料產業園區，今年將建成總面積約6.9萬平方公尺的載體，現在正在進行最後的基礎設施建設，一期工程5月中...