在任務穩定的情況下,可以考慮基於任務的歷史執**況進行資源評估, 即採用hbo(history-based optimiz町, 基於歷史的優化器)。
cbo(cost-based optimizer , 基於代價的優化器),首先會想到 oracle 的 cbo 。 oracle 會根據收集到的表、分割槽、索引等統計資訊來計算每種執行方式的代價( cost ),進而選擇其中最優的執行方式。一般來說,對於更多的、更準確的統計資訊, cbo 則可能生成代價更小的執行計畫。
hbo 是根據任務歷史執**況為任務分配更合理的資源,包括記憶體、 cpu 以及 instance 個數。 hbo 是對集群資源分配的一種優化,概括起來就是:任務執行歷史+集群狀態資訊+優化規則→更優的執行配置。
假如把處理資料量小的任務稱作小任務,處理資料量大的任務稱作大任務,總結 :在預設的 instance 演算法下,小任務存在資源浪費,而大任務卻資源不足。綜上所述,需要有更合理的方法來進行資源分配,hbo 應運而生。
hbo 的提出
通過資料分析,發現在系統中存在大量的週期性排程的指令碼(物理計畫穩定),且這些指令碼的輸入一般比較穩定,如果能對這部分指令碼進行優化,那麼對整個集群的計算資源的使用率將會得到顯著提公升。由此,我們想到了 hbo ,根據任務的執行歷史為其分配更合理的計算資源。hbo 一般通過自造應調整系統引數來達到控制計算資源的目的。
hbo 原理
hbo 分配資源的步驟如下:
·前提 :最近 7 天內任務**沒有發生變更且任務執行 4 次。
• instance 分配邏輯:基礎資源估算值+加權資源估算值。
maxcompute 2.0 引人了基於代價的優化器( cbo ),根據收集的統計資訊來計算每種執行方式的代價,進而選擇最優的執行方式。
資料管理助手
1 採用文字txt檔案作為索引,doc檔案作為內容。txt索引到doc檔案內容的定位。2 每個資料夾作為乙個分類。3 對重要的word檔案可以加密處理,非文件保護功能,而是對內容進行加密處理。解密功能。4 備份功能 1 更新目標資料夾 2 備份全部資料夾。5 全域性搜尋,全域性標題搜尋,當前資料夾 ...
Docker 資料管理
1.在容器中管理資料主要有兩種方式 資料卷 data volumes 資料卷容器 data volume containers 資料卷資料卷是乙個可供乙個或多個容器使用的特殊目錄,它繞過 ufs,可以提供很多有用的特性 資料卷可以在容器之間共享和重用 對資料卷的修改會立馬生效 對資料卷的更新,不會影...
資料管理(七)
其他的dbm函式 現在我們已經看到基本的dbm函式,我們可以簡要的介紹一下dbm所使用的其他的函式 int dbm delete dbm database descriptor,datum key int dbm error dbm database descriptor int dbm clear...