1. 為什麼選用這樣的sample來測試？
2. 為什麼用這樣的配置來測試？
3. 這樣的測試結果能反映客戶的真實情況嗎?
這些都是很好的問題，願意思考的人才會提出這樣的問題。
其實這些也是困擾做效能測試的人的問題，因為這裡存在著一對矛盾。相比穩定性（stability）或者大流量（volume）的測試而言，效能測試是要求精確量化的測試，比如response time要到毫秒，還有concurrent connection和throughput等指標，都是要實際測出的具體數字。但是另一方面，它其實又是很模糊的，比如說你只可能挑選一種或者幾種可能 的配置來測試，而不可能精確的涵蓋所有的配置情況下的效能。而且實驗室測試的資料和production上真實的資料流量也是不一樣的，甚至客觀的講永遠 不可能完全精確的模擬，就好比乙個**上線之前怎麼能預料到將來成千上萬的使用者將要怎麼來使用呢？姑且稱之為效能測試的dilemma。
聯想起最 近看到的乙個例子，大家可能更容易理解，據稱工信部最近列出了6000多種車型的「實際「油耗。相對於之前都是各個廠家給出的理論油耗，很多是在90公里 等速的情況下的理論或者叫完美油耗，在無風的日子裡，平坦的馬路，沒有急踩油門，沒有剎車，所以很多油耗都是6.x。但是很顯然，大家都知道，你不可能找 到一條這樣完美的 路，連續的開上100公里。
我們也可以把上面的油耗測試看成是一種效能測試。那麼因為這樣的不完美，我們就變成乙個懷疑論者嗎?認為所有的效能測試都是沒有意義的，因為它永遠不可能反映真實的情況。
自己做效能測試也有很長一段時間了，有段時間我也在思考同樣的問題，does it make sense？直到有段時間，我看到乙個很好的別的行業的例子。
不好意思，還是汽車行業的例子。（最近怎麼老關注這個行業？）
比較關注汽車安全性的人常常會去看他關注的車在一些碰撞測試中得到幾星級的評價。在中國，這個標準就是c-ncap。由於最近幾年才開始運作，所以也參考了不少美國和歐洲的標準。好吧，讓我們來看一下它大概是如何來給一輛車的安全性打分的。
c-ncap的評價規程 。 「
試驗車輛100%重疊正面衝擊固定剛性壁障。碰撞速度為50km/h～51km/h（試驗速度不得低於50km/h）。試驗車輛到達壁障的路線在橫向任一方向偏離理論軌跡均不得超過150mm。在前排駕駛員和乘員位置分別放置乙個hybrid iii型第50百分位男性假人，用以測量前排人員受傷害情況。在第二排座椅最右側座位上放置乙個hybrid iii型第5百分位女性假人，用以考核安全帶效能。 」
從測試的角度，我們可以看出這裡的test config包括：
1. 迎面很正的撞到乙個很硬的牆上 （好吧，這是很通俗的理解 :)）
2. 撞上的時候速度是 50-51 km/h
3. 乙個駕駛員，第二排坐了乙個人。
然後根據兩個人的受傷情況來評分。
還包括另外兩個類似的測試。
正面40%重疊可變形壁障碰撞試驗
這個大概模擬的是車頭部分追尾前車的情況。
可變形移動壁障側面碰撞試驗
這個模擬的是駕駛員側面被另一輛車撞上的情況。
根據總分，按照以下星級劃分對試驗車輛進行星級評價：
總分星級
≥50分
5+ （★★★★★☆ ）
≥45且＜50分
5 （★★★★★ ）
≥40且＜45分
4 （★★★★ ）
30且＜40分
3 （★★★ ）
≥15且＜30分
2 （★★ ）
＜15分
1 （★ ）
到此為止，我們就知道在廣告上看的「五星安全」是怎麼來的了。現在再看到這樣的字眼和你完全不了解它的做法的時候是不是有些不一樣呢？
我說說自己的感受吧。在不了解這些規程之前，會以為他們一定有一套完美和非常全面的評價方法，然後得出這些評分。第一次了解後不免很失望，好像很粗糙的方法，覆蓋的方面也很少。是的，如果嚴格的從測試完整性的角度來看，上面的方法確實有很多不夠全面的地方。比如說，
1. 為什麼時速是 50~51或者56~57 km/h?
我不知道交管部門有沒有統計資料，是不是很多事故中「撞牆」的速度都是這樣的範圍？
無論統計資料如何，肯定有很多的例外吧。比如70碼撞上去會如何呢，看運氣和人品？
2. 為什麼第乙個正面100%的測試中，車上只有兩個人？
如何是四個人，會有幾個人受傷，傷勢如何？而且更實際一點，人有高矮胖瘦，乙個很胖或者很高的司機有沒有可能更容易受傷？
3. 為什麼是40%重疊而不是其他的比例？
4. 這些都是在平路上的碰撞，有沒有下坡或者上坡的時候的結果？
因為在這樣的時候車身的傾斜導致角度的不同可能會有不同的結果。
...如果你夠嚴謹，你一定可以問出更多的類似的問題。我不認為這樣的問題是吹毛求疵，看起來都相當的重要和合理，畢竟是人命關天的事情。
我 想他們沒有選取那麼多的場景和引數來測試，乙個很重要的原因是這樣的測試是破壞性的，每輛車都是在市場上按市價買的，花費也不少。要是從時速50 -100， 按5為步長，重疊從10% - 90%按10%為步長逐級測下去，該需要很多的車吧，顯然成本太高。測試的覆蓋率有所提高，但是一樣是很不完備的。幸運的是，在軟體測試中，我們的效能測 試很多時候還不是破壞性，而且由於測試工具或者framework的支援，我們可以將效能測試自動化來覆蓋很大的乙個配置範圍，從而得到很多不同情況下的 結果。即便是這樣的情況，實際做的時候我們還是要做些取捨，因為很多因素擺在一起，做正交的話數量一樣大得驚人。比如乙個郵件系統的測試可能包括這些參 數：郵件的sample大小；policy的條數； 採取的action；核心處理程序的數目；所用機器的配置等等。
既然如此，從可行性的角度，就會引伸出另外乙個問題，既然測不完，那麼我們在有限的測試中，該如何選取配置或者引數？
我想了很久，覺得乙個合適的詞是:reasonable
什 麼樣的值大家覺得比較合理，在實際中比較會遇到，或者會概率比較高，或者大家最想知道在這樣的情況下的結果是什麼。 那麼我們就應該去測這樣的場景。以誰的標準來覺得合理呢？ 這要看你做測試的上下文環境，通常還包括組織結構，提出這樣的標準的可能是你的客戶、產品經理、領域專家或者是有經驗的測試人員。在實際中，乙個好的 practice是邀請相應的stakeholder來review，聽取大家的意見。
正是基於以上的思考。過了一段時間，覺得其實這樣的測試結果也是很有幫助的，當然前提是你理性的看待這樣的參考。
意義何在？
對買車的人：得分高的車（通常）比得分低的車安全。
對廠商：如果更進一步，可以看看它在哪一方面得分低，需要改進的是什麼？
對整個行業或者社會而言: 由於有了這樣的評價標準，使得汽車安全的標準在不斷提高，安全性的關注和投入更高，更多人的生命安全得到保障。
正是因為看到這些意義，人們可以接受各種碰撞標準的不完美，而另乙個方面，這樣標準也在改進自己的方法。
還有附錄中的新聞提到的。
在寫這篇文章的時候還順便引發了兩個小的思考。
關於工程
更側重實際的效果，而不是理論上的完美。
測試的意義
測試本身隱含的前提就是」模擬「。
by ricky q.
附錄：
c-ncap推出後有兩大變化 進口車不再偷工減料
2009 年5月27日下午，中國汽車技術研究中心主任、黨委副書記趙航做客中國經濟網《程遠會客廳》，中國經濟網汽車頻道總監、汽車業資深**人程遠主持對話，並 就汽車安全（c-ncap）、環保、新能源汽車發展戰略等做深層次**。中國經濟網《程遠會客廳》是程遠加盟**汽車頻道後全力推出的一檔品牌欄目。該欄 目將主要約請汽車行業資深從業人士、協會領導、企業負責人等嘉賓做客《程遠會客廳》，就汽車行業熱點問題做深度交流和剖析。圖為趙航主任做客《程遠會客 廳》現場。
趙航表示，c-ncap標準是借鑑了歐、美、日評測方法的基礎上、結合中國國情形成的，推出三年來市場有兩個明顯的變化：
一 個引進車型到中國減配置的情況減少或者杜絕。以往，由於中國沒有自己的評價標準，一些車型在歐洲、美國碰撞得到五星、四星的評價後，到中國就會減掉一些跟 安全相關而外表上看不出的裝置，比如夾層的裝置，一次降低成本，但實際上欺騙了中國消費者。現在有了這樣乙個評價規程，使國外車無論賣到美國、日本還是中 國，都得用同樣的配置。
二是自主品牌的安全性大幅度提公升。從06年這個評價標準剛推出時，自主品牌的碰撞成績以兩星居多，到了08年底是四星居多，兩星已經見不到了。自主品牌在技術上下功夫，所以安全效能很快得到提公升。
測 試時考慮後排安全是c-ncap標準的一大特點。趙航介紹，我們國家現在轎車剛剛開始進入家庭，後排經常有乘員，全家出行、或者老人和孩子一起出行。中國 的領導也習慣坐後排，所以對後排的安全要尤其重視。起初，歐洲、美國、日本都對此有微辭，認為中國搞「特立獨行」，而現在，隨著時間的推移，美國也接受了 這種標準，下一步也將評測後排安全；歐洲也在考慮後排是否用假人。相對以前而言，外國品牌進入中國不再是暢行無阻，也得考慮c-ncap這個門檻，讓自己 的車型適合中國的標準。
軟體測試策略和效能測試
整合策略有自頂向下，自底向上兩種。軟體測試策略 在一定的軟體測試標準 測試規範的指導下，依據測試專案的特定環境約束而規定的軟體測試的原則 方式 方法的集合。軟體測試策略是為了以最低的成本最大程度降低產品的質量風險或盡早地完成測試所選擇或制定的最合理的方式 方法 過程等。自頂向下測試 從主控模組開始，...
效能測試 效能測試步驟
針對此次庫內作業效能測試，梳理一下期間的工作流程 梳理已有的介面指令碼，確認需要做效能測試的幾個介面，即使用率高，對效能有要求的幾個主要介面。結合頁面的操作，和確認的介面，梳理具體的業務邏輯 同時，請開發人員部署了測試環境。測試環境的伺服器指標，盡量和生產環境一致。部署的時候，負載均衡等情況也盡量和...
Jmeter 效能測試 2 效能測試的流程和術語
1 系統基礎功能驗證 一般情況下，只有在系統基礎功能測試驗證完成 系統趨於穩定的情況下，才會進行效能測試，否則效能測試是無意義的。2 測試團隊組建 根據該項目的具體情況，組建乙個幾人的效能測試team，其中dba是必不可少的，然後需要一至幾名系統開發人員 對應前端 後台等 還有效能測試設計和分析人員...