阿里雲批量計算使用教程

2021-08-29 22:44:50 字數 1419 閱讀 1268

(批量計算(batchcompute)是一種適用於大規模並行批處理作業的分布式雲服務。batchcompute可支援海量作業併發規模,系統自動完成資源管理,作業排程和資料載入,並按實際使用量計費。batchcompute廣泛應用於電影動畫渲染、生物資料分析、多**轉碼、金融保險分析、科學計算等領域。)

功能特性

1. 提交作業

使用者使用工具(如sdk,命令列工具等)向 batchcompute 提交作業,batchcompute 使用使用者指定的映象(如:ubuntu)啟動虛擬機器(vm), 在虛擬機器中執行使用者程式, 執行完成後釋放虛擬機器(vm)。

batchcompute中使用oss作為持久化儲存。您可以在程式執行完成時將結果資料儲存到oss中。在批量計算中,也可以通過檔案介面的方式訪問oss上的資料,請參閱oss掛載功能。

batchcompute程式預設執行在vm中,也可以支援 docker容器。 

也就是說,您可以自定義ecs映象或者使用docker,在映象中安裝自己需要的任何軟體,用來執行您的任何程式。

作業描述

使用者需要提交乙個作業(job)描述json檔案到批量計算服務,該json檔案中詳細描述了需要執行哪些程式(可以多個程式),執行哪些程式需要啟動多少臺機器,機器的規格(記憶體和cpu等),執行日誌列印到**,完成後結果輸出到**等。

乙個作業(job)包含多個任務(task), 按照您指定dag描述的順序執行。

每個任務定義了使用哪個映象,使用什麼例項規格,執行哪個程式,需要多少臺機器執行,還有結果儲存在**等。

2. 管理我的作業

您可以使用工具(控制台,命令列工具等),檢視我提交的作業,可以停止,重啟,或刪除作業。 檢視各個任務的情況,各個例項(vm例項)的情況和日誌。下圖是控制台的作業管理介面:

3. 使用集群

由於每次執行程式前需要啟動虛擬機器,會占用一定的時間(一般幾分鐘左右),遇到忙時有可能申請不到資源(虛擬機器被其他客戶使用了),您提交作業後可能需要等待一段時間才能執行。

如果您想要提高執行效率,可以先建立好集群,指定需要的虛擬機器數量(比如:5臺)和映象id,batchcompute會為您分配好機器並啟動,這些機器會一直處於執行狀態,一旦您提交作業上來,就可以直接執行,效率較高。

4. 自定義映象

您提交作業或者建立集群時,可以使用批量計算官方提供的映象,也可以使用自定義映象。自定義映象的好處是,可以自己安裝需要的軟體。

課程列表:

課時1:docker應用使用演示

課時2:控制台提交和管理作業

課時3:命令列工具安裝和配置

課時4:命令列工具提交和管理作業

課時5:雲渲染管理系統使用演示

課時6:自定義映象

開始學習:阿里雲批量計算使用教程

Python批量計算NDVI

python批量計算ndvi 做了少量修改,剔除了異常值,執行代價時需要更換影像對應波段及檔案儲存位置 import os import numpy as np from osgeo import gdal import glob import time list tif glob.glob f 2...

hadoop批量計算框架 MapReduce

結合自身的經驗記錄,mapreduce中的一些知識點以及乙個wordcount小實踐 核心思想 分而治之 map程式 需要根據自己的需求開發 shuffle 緩衝區大小設定 core site.xml設定為100m io.file.buffer.size 100000000 以位元組為單位 hdfs...

ArcPy批量計算Mean Center的兩個例項

很久沒用arcpy了,碰了好幾次壁,把這次做的貼上來,以備下次可以跳過這些簡單的問題 1 import arcpy 2 arcpy.env.workspace c users qian documents arcgis default.gdb 3 a sichuan1990 sichuan2000 ...