ptgm通用效能測試模型
一、測試前期準備階段
目標:
1. 保證系統穩定性;
2. 建立合適的測試團隊。
活動:
1.系統基礎功能驗證
類似於bvt測試,確保被測系統已具備進行效能測試的條件。
a. 效能測試屬於驗收測試一部分:效能測試安排在功能驗收測試之後。
b. 效能測試不屬於驗收測試:測試之前至少進行一次系統的功能覆蓋測試。
2.組建測試團隊
根據專案情況確定角色、職責、技能,組建團隊。
3.測試工具需求確認
確定測試工具應該具有的功能點,可從以下幾方面進行分析。
a. 作業系統:測試工具能否執行在本作業系統上?是否支援本作業系統的監控?
b. 應用伺服器環境:是否支援對本應用伺服器的監控?
c. 資料庫環境:是否支援本資料庫的監控?
d. 應用使用的協議:被測系統使用了哪些協議?哪些協議需要在效能測試中通過工具進行錄製和產生負載?是否支援進行錄製和產生負載的協議?
e. 網路環境:是否支援防火牆?是否支援負載均衡?
f. 測試管理支援: 是否提供方便的測試結果分析和管理?
4.效能預備測試(可選)
測試之前通過簡單的探索性測試或其他方法對系統效能表現進行初步了解。
二、測試工具引入階段
目標:選擇合適的工具、為測試工具的使用確定範圍以及在測試過程中規定和規範測試工具的使用。
活動:
1.選擇工具
圈定幾種可用工具,對照前面第3節的問題列表進行功能符合度評估,選擇符合度最高的工具。 如果都不符合,則可以考慮自行構建。
2.工具應用的技能培訓
培訓物件:主要為測試開發、測試執行和測試分析角色。
培訓要求:先確定各種角色的詳細技能標準,並給出培訓是否達到預定目標的評判準則。
培訓形式: 內部培訓、經銷商培訓、外包服務商等。
3.確定工具的應用過程
確定效能測試工具在測試中的具體應用範圍、工具使用過程中的問題解決方法。哪些工作用工具完成?工具在使用過程中的問題由誰來解決?工具指令碼如何管理?
三、測試計畫階段
目標:生成指導整個測試執行的計畫。
活動:
1.效能測試領域分析
效能測試領域包括能力驗證、規劃能力、效能調優、發現缺陷四個領域。
能力驗證:明確系統在固定條件下的效能能力;
規劃能力: 了解系統效能能力的可擴充套件性、系統在非特定環境下的效能能力;
效能調優: 通過測試(發現問題)-調優(調整)-測試(驗證調優效果)提高系統效能能力;
發現缺陷:通過效能測試手段發現應用缺陷。
表1: 不同領域的效能測試目標和效能目標
應用領域
效能測試目標
效能目標
能力驗證
驗證系統在固定條件下的效能能力
重點關注關鍵業務響應時間、吞吐量。
能力規劃
驗證系統的效能擴充套件能力,找出系統能力關鍵點,給出改善其效能擴充套件能力的建議。
業務的效能瓶頸。
效能調優
提高系統的效能表現
重點關注關鍵業務的響應時間、吞吐量。
發現缺陷
發現系統中的缺陷
無表2: 效能測試應用領域與測試方法的關聯
能力驗證
規劃能力
效能調優
缺陷發現
效能基準比較
效能測試
負載測試★★
壓力測試★★
★★★配置測試★★
併發測試★★
可靠性測試
★失效恢復測試★★
★2.使用者活動剖析與業務建模
目的在於尋找使用者的關鍵效能關注點。
a. 使用者活動剖析有兩種方式:
1). 系統日誌分析, 通過應用系統日誌了解使用者的活動協,分析出使用者最關注、最常用的業務功能以及達到業務功能的操作路徑。
2). 使用者調查分析,不具備日誌分析條件時採用的一種估算方法,通過使用者調查問題、同型別系統對比的方法獲取使用者最關注、最常用的業務功能等內容。
b. 業務建模,對系統的行為及其實現 方式和方法建模,一般採用流程圖描繪出各進行之間的互動關係與資料流向
3.確定效能目標
從需求和設計中分析出效能測試需求,結合使用者活動剖析與業務建模的結果,最終確定效能測試的目標。
4.制定測試時間計畫
根據效能測試活動,為每個活動階段給出可能的時間估計,最終形成時間上的計畫。具體方法可以參考專案時間管理。
四、測試設計與開發階段
活動:
1.測試環境設計
測試環境設計包括軟硬體環境、資料庫環境設計、和環境的維護方法,其中資料庫環境設計最關鍵也最容易被忽視。
2.測試場景設計
測試場景一般是實際業務執行的剖面,包括業務、業務比例、測試指標的目標以及需要在測試過程中進行監控的效能計數器。
比如:場景名稱
場景業務及使用者比例分配
測試指標
效能計數器
使用者登入
登入業務,100%使用者
總使用者數200人
響應時間
(<5秒)
伺服器cpu使用率
伺服器記憶體使用率
標準日常工作
入賬業務,40%使用者
查詢業務,30%使用者
統計業務,30%使用者
總使用者數200人
響應時間
(入賬<6秒
查詢<5秒
統計<10秒)
伺服器cpu使用率
伺服器記憶體使用率
場景體現的是使用者實際執行環境中具有代表性的業務使用情況。使用者場景一般由使用者在某乙個時間段內的所有業務使用狀況組成。
3.測試用例設計
測試用例設計是對測試場景的進一步細化,包括場景中涉及業務的操作序列描述、場景趙本山要環境部署等。
如乙個複雜業務的測試方案包括如下步驟:
a. 時間同步方法
b. 裝置和使用者模擬方法
c. 執行方法
d. 資料記錄方法
e. 測試持續時間
4.輔助工具與指令碼開發
指令碼和輔助工具的開發是測試執行之前的最後步驟,測試指令碼是對測試操作的體現,乙個指令碼一般就是乙個業務的操作過程描述。
五、測試執行與管理
目的:測試執行與管理過程用於建立 合適的測試環境,部署測試指令碼和測試場景,執行測試並記錄測試結果。
活動:
1.建立測試環境
搭建需要的測試環境,在設計完成用例之後就開始該活動。建立測試環境一般包括硬體、軟體系統環境的搭建、資料庫環境的建立,應用系統的部署,系統設定引數的調整以及資料環境準備幾個方面的工作內容。
測試環境維護是另乙個比較困難的問題,資料量巨大,涉及測試輔助工具和程式等,可以在測試前使用檢查表檢查測試環境的可用性。
2.部署測試指令碼和測試場景
可通過測試工具本身提供的功能來實現測試指令碼和場景的部署。保證場景與設計的一致性,保證需要監控的計數器都已經部署好相應的監控手段。
3.執行測試和記錄結果
測試執行和測試結果的記錄都可以由測試工具完成。
六、測試分析
目的:對測試結果進行分析,根據測試的目的和目標給出測試結論。
要求:測試分析人員對軟體效能、軟體架構和各效能指標具有相當程度的了解。
通用效能測試過程模型GAME(A)
1.3.1 goal 定義目標 制定乙個明確而詳細的測試目標是效能測試開始的第一步,也是效能測試成功的關鍵。本步驟的輸入 效能需求意向 本步驟的輸出 明確的效能測試目標和效能測試策略 常規的效能測試目標有以下幾種 1 度量終端使用者響應時間 檢視使用者執行業務流程以及從伺服器得到響應所花費的時間。例...
通用效能測試過程模型GAME(A)
1.3.1 goal 定義目標 制定乙個明確而詳細的測試目標是效能測試開始的第一步,也是效能測試成功的關鍵。本步驟的輸入 效能需求意向 本步驟的輸出 明確的效能測試目標和效能測試策略 常規的效能測試目標有以下幾種 1 度量終端使用者響應時間 檢視使用者執行業務流程以及從伺服器得到響應所花費的時間。例...
QTP通用性的自動化測試框架
frank 如果在一般自動化測試框架上 連線qc 再考慮下面四個特性,那麼就極大地提高了擴充套件性和重用性,而且可以降低qtp程式設計錯誤。就成為了合適的大型,多平台專案的自動化測試框架。1.將一些基礎的函式封裝在dll檔案中,我們以.net為例。在dll中我們利用了c 語言的特性,編寫很多實用的通...