spark ui 介面：
幾個概念的解釋：
資料傾斜處理：
總結資料傾斜無法避免，也有沒有一勞永逸的解決方式，處理資料傾斜是乙個長期的過程需要我們慢慢積累經驗，基本思想就是
1.首先從源頭選擇可以split的資料來源，從源頭避免傾斜
2.shufle過程中，增加並行度，減少shuffle 在map-side進行資料合併，避免reduce fetch資料傾斜
3.sample取樣將傾斜的資料,特殊處理,這個方法可以適用於所有的資料傾斜問題， 另外，就是我們盡量使用spark-sql，spark-sql裡面優化器提供很多基本cro和cbo的優化策略，不僅幫我們從源頭幫我們去除無關的資料減少計算資料量，其次在計算過程中會根據我們的table 的資料量，自動幫我們計算合適task partition數量，和選擇合適join策略，從而提公升計算效能，也避免shufle 資料傾斜
關聯式資料庫常用名詞及解釋
關聯式資料庫常用名詞及解釋 鍵碼 ey 它是關係模型中的乙個重要概念，在關係中用來標識行的一列或多列。候選關鍵字 candidate key 它是唯一地標識表中的一行而又不含多餘屬性的乙個屬性集，即在同一張表中，也許存在多於一種列的組合可以唯一地標識一行資料，這些任意一種列的組合就是候選關鍵字 主關...
Nginx資料結構及相關介面函式
本文 1.字串ngx str t typedef struct ngx str t 1.1介面函式 ngx string str 初始化乙個字串為str，str必須為常量字串，一般只用於宣告字串變數時順便初始化變數的值。ngx null string 宣告變數時，初始化字串為空字串，符串的長度為0，...
SSVEP腦機介面及資料集處理
穩態視覺誘發電位 steady statevisual evoked potentials,ssvep 屬於視覺誘發電位 visual evoked potentials,vep 是指當人眼受到乙個恆定頻率 通常大於4hz 的視覺刺激時，大腦視覺皮層會自動產生與刺激頻率及其諧波頻率同頻率的響應。ss...