2023年10月28日上午spec 2016亞洲峰會上，spec架構師jeremy arnold與spec開放系統委員會主席steve realmuto一起揭開了業界首個雲平台測試基準spec cloud iaas 2016的神秘面紗。
在會上jeremy arnold向大家詳細介紹了在cloud iaas 2016中的雲計算基準測試指標，及制定這些指標的原因。steve realmuto就雲計算基準測試的具體內容和測試方法向大家做了詳細介紹。
首先，jeremy arnold在綜合介紹雲計算、公有雲、私有雲與混合雲後，向大家介紹了開放系統組(osg)對雲計算的觀點：白盒雲（whitebox cloud）與黑盒雲（blackbox cloud）。
jeremy arnold(specpower架構師)
白盒雲（whitebox cloud）
白盒雲一般來說，就是私有雲。白盒雲的使用者可以知道所有的軟體和硬體資訊。比較像在乙個典型的benchmark環境中看到得那樣，使用者把軟體和硬體組合到一起，在這環境裡面可以控制所有的事情。這與私雲環境比較類似，你對軟體和硬體的配置會有一些控制權。
黑盒雲（blackbox cloud）
黑盒雲，它一般來說是公有雲的結構。比如說亞馬遜和谷歌的雲，但它也有可能是乙個託管的私有雲。你可以來充分的使用雲裡面的資源，你也可以來購買雲裡面的時長，可以來購買雲**商的各種服務，你知道可以用什麼樣的資源，但是你其實並不清楚這個雲是如何被管理的，也不清楚它裡面到底涵蓋哪一些資源。它其實就是乙個黑盒子或者黑匣子，其實你不知道裡面是什麼。
無論是軟、硬體的資訊都了解的白盒雲還是對所有資訊都一無所知的黑盒雲，我們都想要對它去進行測量，測量什麼？或者說雲的benchmark測試是什麼呢？在spec的研究組委員會裡面，對雲計算有兩個不同的測試benchmark 「scalability」和「elasticity」。
scalability可以看作在山上不斷的攀登，也就是說雲可以持續不斷的處理各種需求，我們不斷來增加的workload，這就稱作scalability。
elasticity是指隨著我們不斷的在雲上增加越來越多的workload，它的scalability仍然是一致的。它的效能不會隨著workload的增加，而有所降低。
在公共雲上會有各種各樣的資源，可以把它稱作無限、無窮的，但仍然會有限值。比如說你採用的某一虛擬機器，scalability會在一定的範圍內會達到乙個限值。當然我們可以在公有雲環境中，通過增添虛擬機器的數量使處理能力不斷提公升（增加elasticity），但這樣做的成本也會不斷的攀公升。同時還需要考慮效能的差異性。公有雲中有其他租戶在不同時間使用雲計算資源時，也會對使用者虛擬機器scalability造成不同的影響。
從另一方面來說，在私有雲方面，我們獲得非常好的elasticity，你可以控制每一件事情，這樣的話就確保scalability不會有所改變，即使隨著workload的增加，scalability也不會有所改變，在私有雲裡面，你會對環境會有較多的控制權，這是跟公共雲相比的。但是我們在私有雲裡面也是要考慮效能。
如何正確評估乙個雲，如何才能使scalability與elasticity更具實際意義。這也許是乙個很大挑戰，包括spec雲委員會以外的成員，都會覺得這是乙個挑戰，有時候benchmark相當於是在乙個黑匣子的環境裡面。你如何能夠做出這樣的benchmark？你如何能夠把它跟其他的事情進行對比？當雲計算環境進行工作的時候，工作的效能也需要得以測量。我們有時候會說，我們想要關注於雲本身，而不是workload上面，但是我們仍然需要 從workload去評估雲本身。
cloud iaas 2016 benchmark要做的就是可以在任何乙個雲計算資源上進行測量，同時把這結果進行乙個檔案編撰。在這測試過程中，雲的本身不會被改變。但是我們希望還是有乙個初始配置的elasticity來做為評估的基準。並且在未來，我們會設計更多的workload測評方法，來應對雲計算技術快速發展。所以說這個benchmark會不斷的進行調整，在未來我們看新的cloud iaas benchmark，會有新的workload在這上面。
接下來由steve realmuto向我們介紹了spec cloud iaas 2016 benchmark有關於scalability與elasticity的評估方式。
steve realmuto(oracle/spec開放系統組(osg)主席)
cloud iaas 2016測試基準基於ycsb（yahoo cloud serving benchmark）+cassandra分布式資料庫，cassandra由facebook開發，在各個運營商中的應用十分廣泛。而且，osg cloud小組進行了大量的調整，例如在原有的ycsb基準中，資料庫的讀寫操作比例為7:3，cloud iaas 2016的讀寫比例調整為95:5，這樣比例更符合實際應用場景。
spec cloud_iaas可以模擬多種i/o和cpu密集型雲計算工作負載，模擬標準社交**nosol資料庫應用場景，對雲計算軟、硬體產品的多種效能指標進行benchmark測試。協助使用者更加全向的對雲計算產品進行深入了解。同時也可以協助雲計算廠商，對自身產品進行完善，儘量減少現實運營過程中，雲計算系統故障的發生。
spec cloud iaas在設計時充分考慮了不同使用者的技術水平，既可以實現測試環境的自動部署及執行，自主測試及輸出測試報告，也可以依據使用者特殊需求手動配置執行環境，既適合一般大型客戶及研究機構使用，也可以滿足中小型企業的測試需求。
雲計算中的測試，可從哪些維度入手
雲計算是目前比較熱門的技術，其涉及的內容多 技術性強，對測試人員而言有別於傳統的產品，在測試的過程中增加了較多的複雜度。為了更好的對雲計算產品進行測試，盡可能廣的覆蓋雲計算的各個測試點，需要盡可能多的從各個維度去對雲計算進行測試，最好每日執行測試，監控軟體在雲計算平台中的運 況。作為雲計算使用者，最...
幾個Android雲測試
幾個android雲測試.html 現在國內國外都有一些公司在做android雲測試，也就是你上傳你的apk上去，然後它會自動在多種機型上測試，這樣一方面減少我們的成本 不然你買真機都買窮你了 又很方面，有截圖等。下面介紹幾個android雲測試。國內 1.testin雲測試，前陣子和各大andro...
web壓力測試的幾個關鍵點
設計壓力應用 設計試圖對 web 服務進行壓力測試的壓力測試系統時，要讓它們以某種特定的方式執行 這些風格超越了功能驗證，目的是要弄清楚被測試的 web 服務是不是不僅能做我們認為它能做的事，而且在被施加了某些高強度壓力的情況下仍然繼續正常執行。壓力測試必須對 web 服務應用四個基本條件。許多已建...