大資料學習第七天

2021-09-06 21:52:15 字數 327 閱讀 3897

今天開始學習spark核心程式設計之高階特性:

(1)基於排序機制的wordcount程式

(2)二次排序(其實就是根據多個字段排序,sort by a,b,c)

(3)topn

(1)對於第乙個問題,其實就是如何把('a',1),('b',3)類似的pair結構的資料排序,由於只有sortbykey沒有sortbyvalue,因此想辦法調換一下key/value的位置就可以了。

(2)二次排序,需要繼承乙個spark提供的介面

(3)先排序,然後take(n)方法.對於分組取topn,就先groupbykey,然後在組內使用map,找出最大的topn。

第七天學習

練習題 1 以下類定義中哪些是類屬性,哪些是例項屬性?class c num 0 def init self self.x 4 self.y 5 c.count 62 怎麼定義私有 法?3 嘗試執行以下 並解釋錯誤原因 4 按照以下要求定義乙個遊樂園門票的類,並嘗試計算2個 1個小孩平日票價。要求 ...

Java學習第七天

類成員 static成員 當使用例項來訪問類成員時,系統底層依然是委託該類來訪問類成員。因此,即便該類例項為null,她依然可以訪問所屬類的類成員。例如 package lesson5 單例模式 singleton 主要通過靜態變數 靜態方法和private構造方法完成。例如 package les...

C 學習第七天

c 中的params引數 引數陣列 1 params引數是陣列。呼叫方式可以陣列方式,也可以單個元素方式。static void test string name,params int scores console.writeline 你好,你的scores is name,sb test 劉德華 ...