spark學習，官網閱讀完之後，練習官方給出的例子之後，就是閱讀原始碼了，
學習spark，了解spark應用後，就是閱讀原始碼了，閱讀原始碼並不難，編譯器開啟就能知道，而要知道原始碼設計思路，為什麼這麼設計，就是乙個比較困難的地方了
閱讀spark原始碼，其核心要素就是圍繞著rdd進行深入**和spark的作業排程的生命週期。
1.理解rdd，需要把握rdd的兩個核心操作，transformation 和 action
2.理解rdd的jobschedule，乙個job又分為多個stage，每個階段都包含多個rdd，其關係根據生成dagschedule進行排程，dagschedule包含多個rdd的translate，然後stage又是如何被分配到cluster中的。
以上兩點是我在閱讀原始碼中有所感觸的地方
spark學習心得
一 spark特點 1.離線批處理 利用核心 2.互動式查詢 3.實時計算 4.演算法建模 二 spark核心資料結構 rdd 彈性分布式資料集 初學時，你可以把rdd看做是一種特殊的集合型別，比如array或list 但是rdd這種集合型別比較特殊 rdd有分割槽機制 rdd有容錯機制，即rdd資...
學習心得 python學習心得
自從來了深圳工作以後，尤其是屢屢面試碰壁以後。發現其實自己的知識面很窄，做筆試題的時候絞盡腦汁還是漏洞百出，並不是不會做，而是出現一大堆不該有的失誤。每次被問道，對資料庫了解嗎？說一大堆看起來很高階的東西 好啊，那我們寫幾個sql語句吧。馬上完蛋了，沒了手冊關鍵字都記不起。了解哪幾種指令碼語言，sh...
學習心得 我的學習心得
我是乙個已經步入中年的70後，離開校園已經20年了，因為當年的政策因素而未能圓我的大學夢，在20年的工作過程中總是因為缺少一張大學文憑而失去了很多機會，曾經也考慮過自考，但是乙個人去面對的時候總感覺心有餘而力不足。2018年3月份偶然讓我認識了尚德，原來自考還可以這樣學習。一直懷疑自己年紀大了記憶力...