學習：
原始碼bin目錄下：./spark-shell
啟動後，預設日誌級別是warn，我們進入到自定義編譯的spark包中vi log4j.properties
修改，log4j.rootcategory = info,console
sparkcontext：應用程式的入口。
sparksession：初步理解為乙個框，裡面可以取很多東西
問題：spark shell這個名字是在**來的呢？
cd bin
cat spark-shell
spark-shell底層呼叫的是spark-submit --name 「spark-shell」 通過這個指令碼設定進來的。
使用spark來實現乙個wordcount
在scala中進行操作：
val file = sc.textfile(「file://home/hadoop/data/ruozeinput.txt」)
file.flatmap(.split("\t")).map(,1)
file.flatmap(.split("\t")).map(,1).reducebykey(+)
按照key的字典順序進行排列的。
進行降序排列
result.map(x => (x.2,x.1)) //對元素進行對調
val result = file.flatmap(.split("\t"))
.map(,1)
.reducebykey(+)
.sortbykey(false)
.map(x._2,x._1)
Spark Core 子模組 Shuffle 分析
一 前言 1.相關版本 spark master branch 2018.10,compiled version spark 2.5.0，相關的測試設定了spark.shuffle.sort.bypassmergethreshold 1 和 yarn client 模式 hibench 6.0 an...
實戰班 Hive高階（二）
一 上次回顧 二 hive sql的執行流程 三 hive中的udf函式 四 本次課程涉及面試題 1 場景 資料量不大，但是使用hive sql執行起來比較慢 hive中常用的sql語句？乙個sql的執行流程大概會分為如下幾個流程 sql on hadoop的乙個引擎，乙個sql語句進來，把作業提交...
鴻寶術高階研修班天機班
鴻蒙既判 才是太極 鴻寶術 提到 陰陽未判之前，混混沌沌，如陰霧水汽。真息到來，氣滿相激，鴻蒙既判，才是太極。性屬神是陰，命屬氣是陽，一陰一陽謂之道也。那麼鴻蒙是什麼？鴻蒙既判的意思又該如何理解？古人認為天地開闢前是一團混沌的元氣，這種自然的元氣叫鴻蒙。鴻蒙既判就是混沌初開，開天闢地之時。年少的時候...