測試資料精準對比的思考

2021-09-07 05:32:31 字數 998 閱讀 6680

現在流行敏捷開發,版本迭代也會更快,由於每次版本迭代都是一些小更改,因此對效能上的測試靈敏度要求也會更高,而效能在版本間迭代時總是在動態變化的,因此很難有乙個基準值作為判斷的參考,如果老大需要一些版本時效能迭代的變化資料,比如,版本之間啟動速度變化,以及瀏覽器載入的效能提公升範圍等,由於概率事件,很難說效能真的上公升或者下降了,因為一切都可以解釋成這只是正態分佈中的某一次可能值。

然而,還是可以引入一些數學上的方法的。不過需要用到大學學過的概率論。

1.其實很多場景能抽象為以下模型來坐量化:

隨機抽取100組資料,其中n1組資料通過檢驗,100-n1組不通過檢驗,計算乙個99%的置信區間,其中均值測試結果為通過的概率。

已知這個模型,那我們需要什麼呢,

(1)判斷資料通過或者不通過的標準是什麼。

那麼我們可以把a組的均值mean_a跟方差var_a求出來,當作總體的均值跟方差。然後判斷標準是b組的100個值裡,每乙個值如果在(mean_a-3*sqrt(var_a),mean_a+3*sqrt(var_a))內,則判斷資料為通過檢驗,如果在區間外,則判斷不通過檢驗。

(2)針對這100組資料做計算。

樣本均值:mean=(n1*p+(100-n1)*(1-p))/100,

樣本方差:var =(n1*(1-mean)^2+(100-n1)*(0-mean)^2)/(100-1) ,

樣本標準差:s=sqrt(var)

根據中心極限定理,任何分布的均值都服從正態分佈,因此

抽樣分布均值:mean_1=mean

抽樣分布標準差: s_1 = s/sqrt(100)

因此樣本均值服從(mean_1,s_1)的正態分佈,通過查詢正態分佈z值表,可以知道樣本在某個標準誤(x)範圍內(mean_1-x,mean_1+x)可以達到99%的可信度,證明:

(1)測試是通過的,證明此項測試指標在迭代過程中有99%的可能沒變化

(2)測試不通過,代表此項測試指標在迭代過程中有變化。(具體如何變化,可以用t檢驗或者z檢驗)

先挖坑,日後填。

構造測試資料 對比測試資料

正確 include using namespace std typedef long long ll const int max n 1e6 10 intmain return0 author max n date 2019 10 04 15.03.21 description 正確 錯誤 inc...

POJ的測試資料

usaco 2006年november題目和測試資料的 2007年open賽題目和測試資料的 以此類推 日本acm比賽 官方 02年 03年以後改2002到2003即可。部分有測試資料 德國的 裡面有很多歐洲的比賽還有一些大學內部的比賽 5 greater new york region 6 wat...

測試資料的準備

測試很多時候需要準備測試資料,例如基礎資料,配置資料,現有資料,動態資料等 那麼如何準備資料,如何做到真實可靠有效?一 測試資料的分類 現有資料 比如在測試一些電商站點的時候會提前插入一些商品資訊,種類資訊物流資訊等 動態資料 比如在測試電商站點的發布商品功能的時候,往往會去建立一些新的商品。我們可...