第1節 - 00-[了解]-課程內容介紹
第2節 - 01-[了解]-spark發展歷史和特點介紹
第3節 - 02-[掌握]-spark環境搭建-local本地模式
第4節 - 03-[掌握]-spark環境搭建-standalone集群模式
第5節 - 04-[掌握]-spark環境搭建-standalone-ha集群模式
第6節 - 05-[細心]-spark環境搭建-on-yarn-原理和準備工作
第7節 - 06-[理解]-spark環境搭建-on-yarn-兩種模式
第8節 - 07-[掌握]-spark環境搭建-on-yarn-兩種模式演示
第9節 - 08-[補充]-spark環境搭建-spark-shell和spark-submit
第10節 - 09-[掌握]-spark**開發-準備工作
第11節 - 10-[重點]-spark**開發-入門案例
第12節 - 11-[重點]-spark**開發-onyarn
第13節 - 12-[理解]-spark**開發-wordcount**
第14節 - 13-[總結]-總結和作業....
更多目錄以鏈結為主
大資料查詢優化 Spark3 0新特性
前言 apache spark在6月份分布了3.0.0版本，增加了許多效能優化方面的新特性。作為大資料分析的重要引擎，在sql查詢優化方面的新特性值得期待和使用。spark在sql查詢方面的效能優化主要分為四個方向七個方面 這7個方面最值得關注的在於動態優化方向的更新，下面來著重講一下。自適應查詢執...
Spark從入門到精通
spark從入門到精通 一 什麼是spark 大資料計算框架 離線批處理 大資料體系架構圖 spark spark包含了大資料領域常見的各種計算框架 比如spark core用於離線計算，spark sql用於互動式查詢，spark streaming用於實時流式計算，spark mlib用於機器學...
Spark從入門到精通 一 Spark架構
spark與mapreduce的區別 都是分布式計算框架，spark基於記憶體，mr基於hdfs。spark處理資料的能力一般是mr的十倍以上，spark中除了基於記憶體計算外，還有dag有向無環圖來切分任務的執行先後順序。spark主要分為三大部分 sparkcore 對非結構化資料的處理，rdd...