目錄4. 相關
htcondor環境配置完成後,安裝檔案目錄如下:
其中bin目錄裡面存放了一系列condor_開頭的可執行程式,正是通過這些指令程式來實現分布式計算的。其中有個gui程式condor_birdwatcher.exe,開啟後執行介面如下:
從程式名稱可以看出這是個檢視器程式,分別顯示condor_q與condor_status的輸出資訊。
execute目錄是程式執行目錄,當集群執行時,會把程式、資料等傳送到該目錄中執行。
condor_config是htcondor的配置檔案,也就是上一章配置的環境都儲存在這個檔案中。一些更加高階的功能,可以通過修改這個配置檔案來實現。
htcondor環境配置完成後,服務項會啟動乙個condor服務:
預設這個服務是延遲啟動的,一旦啟動就會執行一系列condor_開頭的後台程序:
這些後台程序的具體功能可以參考htcondor的文件。其中,傳送的計算任務程式會進一步封裝成condor_exec,在任務機器執行。
htcondor可以在命令提示符中執行一系列condor_開頭的命令(與bin目錄中的可執行程式對應),其中最重要的命令有以下幾個:
顯示的是當前任務佇列中任務的運**況:
此時由於沒有提交任務,所以顯示為空。
顯示的是當前計算機集群中計算資源的情況:
可以看到這裡連線了兩台機器,desktop-ovh是一台12核的主機,charlee-pc是一台4核的主機,每乙個cpu核心都算作乙個計算資源。
提交任務命令。htcondor通過乙個任務描述檔案來提交任務,提交後會返回乙個任務id。具體的命令為:
conodr_submit 任務描述檔案路徑這時可以通過以下命令,並輸入本機密碼,將證書新增到htcondor的證書管理中心中即可:
通過任務id,刪除特定的任務:
conodr_rm 任務id一般來說,通過以上簡單的命令,就可以完成初步的分布式計算。目錄
高通量計算框架HTCondor 一 概述
目錄htcondor是威斯康星大學麥迪遜分校構建的分布式計算軟體和相關技術,用來處理高通量計算 high throughput computing 的相關問題。高通量計算中的throughput應該是吞吐量的意思,也就是排程計算機資源的能力。與高效能計算 hpc 不同,高通量計算 htc 應對的問題...
hadoop批量計算框架 MapReduce
結合自身的經驗記錄,mapreduce中的一些知識點以及乙個wordcount小實踐 核心思想 分而治之 map程式 需要根據自己的需求開發 shuffle 緩衝區大小設定 core site.xml設定為100m io.file.buffer.size 100000000 以位元組為單位 hdfs...
SDRAM容量計算
行位址12位,列位址8位,資料16位,片內有四個組。那麼這塊晶元的容量大小是多少?怎麼計算的?具體計算如下 行位址12位,說明行數是2的12次方。列位址8位,說明列數是2的8次方。資料個數就有2的20次方,就是1mb。即bank大小為1mb。在1mb中,每個資料16位 bit 每位元組為8bit。所...