AWS搭建Condor彈性計算平台

2021-07-09 12:52:22 字數 1196 閱讀 5580

1.選擇乙個ami,建立乙個autoscaling組,在autoscaling組中可以設定最小機器數量,最大機器數量。autoscaling組中擴充套件機器時,是按照剛開始的ami建立新機器的。

2.在aws的服務裡選擇->cloudwatch,如圖,選擇乙個指標,這裡選擇sqs,選擇指標,這裡選擇的是接收的訊息數量,填上警報名稱和描述,在操作的區域選擇當此警報正常時傳送通知到某個擴充套件策略或縮小策略,然後建立警報

3.為autoscaling組新增擴充套件策略,執行策略的條件是觸發步驟2中的警報,如下圖所示。可以設定每當警報觸發autoscaling擴充套件的數量。

4.到此,aws的service的設定以及全部完畢。這裡要做到的是根據condor的任務情況進行彈性計算,實現方法是檢測condor要處理的任務數量,當任務數量大的時候,向sqs發訊息觸動警報,autoscaling組自動擴充套件;當任務數量小的時候,向sqs發訊息觸發另乙個縮小的策略。在condor_master機器通過condor_status和condor_q這兩個命令的輸出做監控的工作。

這裡的做法如下:

condor_status | grep slot > filename.txt //把condor_status中跟機器相關的輸出寫到filename.txt中

cat filename.txt | wc -l//統計現在condor集群中現存的機器數量

同理,也能統計出等待的任務數量,當等待的任務數量/現存的機器總數超過某乙個數,就可以向sqs傳送訊息

5.condor_master的ec2向sqs傳送訊息的方法在下面連線中有詳述

步驟5中的python命令列(向名字為queue-name的佇列發訊息)綜合起來如下:

步驟4中統計現存的機器總數的python**行如下,原理是跟機器數量相關的行寫入testxx.txt檔案,然後用cat統計出行數賦值給乙個記錄行數的變數即可:

基於AWS搭建分布式計算環境

本文介紹通過 aws 管理控制台建立示例 amazon emr 集群的流程。然後,您將以步驟形式執行 hive 指令碼,以處理儲存在 amazon s3 中的示例資料。1 建立 amazon s3 儲存桶 amazon s3 中的每個資料元都儲存在儲存桶中。必須先建立乙個儲存桶,然後才能在 amaz...

AWS 雲計算

amazon web services aws 是全球最全面 應用最廣泛的雲平台,從全球資料中心提供超過 200 項功能齊全的服務。數百萬客戶 包括增長最快速的初創公司 最大型企業和主要的 機構 都在使用 aws 來降低成本 提高敏捷性並加速創新。從計算 儲存和資料庫等基礎設施技術,到機器學習 人工...

從AWS雲服務開始學習彈性設計

隨著社會不斷地進步,資訊革命正在悄無聲息地向全球範圍蔓延開來,而為了開展這場革命,必須讓企業參與進來並實現轉型,沒有轉型成功的企業注定要被淘汰。企業想要夠構建自己的資訊系統,其中一種較為容易的辦法是借助雲服務來實施。通過這一點不難看出,雲服務在未來將被大量的企業用到,因此未來將會需要越來越多的人才為...