高通量計算框架HTCondor 三 使用命令

2022-07-04 01:48:11 字數 1595 閱讀 3812

目錄4. 相關

htcondor環境配置完成後,安裝檔案目錄如下:

其中bin目錄裡面存放了一系列condor_開頭的可執行程式,正是通過這些指令程式來實現分布式計算的。其中有個gui程式condor_birdwatcher.exe,開啟後執行介面如下:

從程式名稱可以看出這是個檢視器程式,分別顯示condor_q與condor_status的輸出資訊。

execute目錄是程式執行目錄,當集群執行時,會把程式、資料等傳送到該目錄中執行。

condor_config是htcondor的配置檔案,也就是上一章配置的環境都儲存在這個檔案中。一些更加高階的功能,可以通過修改這個配置檔案來實現。

htcondor環境配置完成後,服務項會啟動乙個condor服務:

預設這個服務是延遲啟動的,一旦啟動就會執行一系列condor_開頭的後台程序:

這些後台程序的具體功能可以參考htcondor的文件。其中,傳送的計算任務程式會進一步封裝成condor_exec,在任務機器執行。

htcondor可以在命令提示符中執行一系列condor_開頭的命令(與bin目錄中的可執行程式對應),其中最重要的命令有以下幾個:

顯示的是當前任務佇列中任務的運**況:

此時由於沒有提交任務,所以顯示為空。

顯示的是當前計算機集群中計算資源的情況:

可以看到這裡連線了兩台機器,desktop-ovh是一台12核的主機,charlee-pc是一台4核的主機,每乙個cpu核心都算作乙個計算資源。

提交任務命令。htcondor通過乙個任務描述檔案來提交任務,提交後會返回乙個任務id。具體的命令為:

conodr_submit 任務描述檔案路徑

這時可以通過以下命令,並輸入本機密碼,將證書新增到htcondor的證書管理中心中即可:

通過任務id,刪除特定的任務:

conodr_rm 任務id

一般來說,通過以上簡單的命令,就可以完成初步的分布式計算。

目錄

高通量計算框架HTCondor 一 概述

目錄htcondor是威斯康星大學麥迪遜分校構建的分布式計算軟體和相關技術,用來處理高通量計算 high throughput computing 的相關問題。高通量計算中的throughput應該是吞吐量的意思,也就是排程計算機資源的能力。與高效能計算 hpc 不同,高通量計算 htc 應對的問題...

hadoop批量計算框架 MapReduce

結合自身的經驗記錄,mapreduce中的一些知識點以及乙個wordcount小實踐 核心思想 分而治之 map程式 需要根據自己的需求開發 shuffle 緩衝區大小設定 core site.xml設定為100m io.file.buffer.size 100000000 以位元組為單位 hdfs...

SDRAM容量計算

行位址12位,列位址8位,資料16位,片內有四個組。那麼這塊晶元的容量大小是多少?怎麼計算的?具體計算如下 行位址12位,說明行數是2的12次方。列位址8位,說明列數是2的8次方。資料個數就有2的20次方,就是1mb。即bank大小為1mb。在1mb中,每個資料16位 bit 每位元組為8bit。所...