現在流行敏捷開發,版本迭代也會更快,由於每次版本迭代都是一些小更改,因此對效能上的測試靈敏度要求也會更高,而效能在版本間迭代時總是在動態變化的,因此很難有乙個基準值作為判斷的參考,如果老大需要一些版本時效能迭代的變化資料,比如,版本之間啟動速度變化,以及瀏覽器載入的效能提公升範圍等,由於概率事件,很難說效能真的上公升或者下降了,因為一切都可以解釋成這只是正態分佈中的某一次可能值。
然而,還是可以引入一些數學上的方法的。不過需要用到大學學過的概率論。
1.其實很多場景能抽象為以下模型來坐量化:
隨機抽取100組資料,其中n1組資料通過檢驗,100-n1組不通過檢驗,計算乙個99%的置信區間,其中均值測試結果為通過的概率。
已知這個模型,那我們需要什麼呢,
(1)判斷資料通過或者不通過的標準是什麼。
那麼我們可以把a組的均值mean_a跟方差var_a求出來,當作總體的均值跟方差。然後判斷標準是b組的100個值裡,每乙個值如果在(mean_a-3*sqrt(var_a),mean_a+3*sqrt(var_a))內,則判斷資料為通過檢驗,如果在區間外,則判斷不通過檢驗。
(2)針對這100組資料做計算。
樣本均值:mean=(n1*p+(100-n1)*(1-p))/100,
樣本方差:var =(n1*(1-mean)^2+(100-n1)*(0-mean)^2)/(100-1) ,
樣本標準差:s=sqrt(var)
根據中心極限定理,任何分布的均值都服從正態分佈,因此
抽樣分布均值:mean_1=mean
抽樣分布標準差: s_1 = s/sqrt(100)
因此樣本均值服從(mean_1,s_1)的正態分佈,通過查詢正態分佈z值表,可以知道樣本在某個標準誤(x)範圍內(mean_1-x,mean_1+x)可以達到99%的可信度,證明:
(1)測試是通過的,證明此項測試指標在迭代過程中有99%的可能沒變化
(2)測試不通過,代表此項測試指標在迭代過程中有變化。(具體如何變化,可以用t檢驗或者z檢驗)
先挖坑,日後填。
構造測試資料 對比測試資料
正確 include using namespace std typedef long long ll const int max n 1e6 10 intmain return0 author max n date 2019 10 04 15.03.21 description 正確 錯誤 inc...
POJ的測試資料
usaco 2006年november題目和測試資料的 2007年open賽題目和測試資料的 以此類推 日本acm比賽 官方 02年 03年以後改2002到2003即可。部分有測試資料 德國的 裡面有很多歐洲的比賽還有一些大學內部的比賽 5 greater new york region 6 wat...
測試資料的準備
測試很多時候需要準備測試資料,例如基礎資料,配置資料,現有資料,動態資料等 那麼如何準備資料,如何做到真實可靠有效?一 測試資料的分類 現有資料 比如在測試一些電商站點的時候會提前插入一些商品資訊,種類資訊物流資訊等 動態資料 比如在測試電商站點的發布商品功能的時候,往往會去建立一些新的商品。我們可...