進入年,國產手機廠商利空訊息頻頻傳來,這和市場格局變化導致國產手機廠商在原先的一些渠道、**、品種等方面的優勢逐漸喪失有關,但是還有乙個不容忽視的原因是國產手機的質量問題過多,產品穩定性差,突出的問題有:自動關機、宕機、掉線、通話質量差、雜音大等。這些問題中的大部分都是可以通過充分的效能測試
來避免或減少的
. 手機作為專用的消費類電子產品需要進行以下測試:
可靠性測試(對於硬體則是
rqt;對於軟體則是
field trial
);標準符合性測試(
fta);
互操作性測試(
iot);
安全性測試(安規測試);
強度測試等。
其中,有些種類的測試,例如
fta,有嚴格的標準(
gsm、
3gpp
等)來明確被測的功能點,測試人員所要做的是在測試用例的編寫中體現出這些功能點,並且盡量營造這些測試用例所需的執行環境來完成測試,並反饋測試結果。但是對於效能測試,就沒有這樣的規範供測試人員來參考,因此效能測試需要進行哪些用例以及用例通過的指標的高低都有很大彈性,在很大程度上受限於測試人員的經驗和專案的資源和進度壓力。如何在資源、進度和質量之間找到平衡點是產品負責人需要考慮的問題,測試人員可以左右的是劃定效能測試的範圍、明確與效能測試相關的設計需求(提高產品的可測試性)以及通過
自動化測試
工具等手段來進行更加有效的效能測試,提高產品的質量。
一、手機效能測試的範圍效能測試強調長時間、重複或者高強度的進行某些操作,來驗證產品在各種極限條件下的表現。
效能測試隸屬於
軟體測試
中的系統測試
,它對軟體在整合系統中執行的效能行為進行測試,旨在及早確定和消除軟體中與構架有關的效能瓶頸。通過對測試資料和
log的分析,還可能找出被測系統隱藏的缺陷。終端作為移動通訊類電子產品,其效能測試又主要和其實現的功能相關,大致可分為以下幾類: 1
.時間相關。
時間相關的效能測試可分為長時間保持測試和限定時間反應測試。長時間保持測試主要是測試終端長時間穩定進行某項功能的能力。主要包括長時間待機能力、長時間
cs域業務保持能力、長時間
ps域業務保持能力、長時間組合業務保持能力等。長時間待機測試,就是根據手機電池的能力連續不間斷待機一定時間(例如
4天),之後驗證手機是否還能夠發起主叫和被叫業務,能夠發起主叫,表示終端在長時間待機後自身還處於正常狀態,能夠發起被叫,說明終端在睡眠模式下可以正常接收尋呼。長時間cs2
小時),測試通話期間圖象聲音是否連續、清晰,是否有單通現象出現,是否會有手機板子過熱現象。長時間
ps域業務保持測試,主要是通過持續進行
www業務、
ftp業務或者流**業務一定時間(例如2cs
和ps域業務一段時間,以驗證終端長時間進行組合業務的能力。限定時間反應測試主要是測試終端在規定時間內對使用者的操作作出反應,給出操作結果的能力。主要包括開機駐留時延、關機時延、
cs域業務接入時延、
ps域業務接入時延、本地應用的操作時延等。開機駐留時延,是指從使用者按下開機鍵(終端上電、系統引導、啟動任務、搜尋網路、完成位置更新)到終端進入待機介面,提示使用者可以進行正常服務的總時間。關機時延,是指從使用者按下關機鍵(終端完成網路
detach
、將ram
中修改過的資料寫回
flash
)到終端完全下電所需的總時間。
cscs 64k
業務時,網路側需要重新組織或合併無線資源來滿足業務要求,所需時間相對會長一些。ps2
.次數相關。
次數相關的效能測試是測試終端重複穩定地進行某項功能的能力。包括開關機成功率、小區初搜成功率、小區重選成功率、
cs域業務成功率、
ps域業務成功率、組合業務成功率、切換成功率、本地應用的成功率等。這種重複操作包括很多物件被多次建立和釋放,因此可能會發現潛在的記憶體洩漏等問題。開關機成功率測試,主要是檢驗多次開機是否會有物理層不能正確收到初搜命令的情況,關機不完全也可能會導致下一次開機失敗,以及在某些情況下系統宕機後只能通過插拔電池板來重新開機。
cs域業務成功率的測試,是指通過進行一定次數的主叫或者被叫,統計失敗的次數,對失敗原因進行歸類,分析是否能夠找到和終端相關的失敗原因。
ps域業務成功率、組合業務成功率、切換成功率的測試方法也類似。本地應用的成功率包括多次儲存再刪除檔案、聯絡人、簡訊等操作,以及多次開啟某個應用或執行某類操作來對該應用的穩定性進行測試,找出瓶頸。3.
併發業務。
併發測試主要是測試終端同時進行多項業務時表現出的處理能力。例如同時進行
cs域語音業務和
ps***
www上網業務,以測試協議棧、
作業系統
和處理器對併發業務的支援能力。4.
負載測試。
負載測試主要是驗證系統的負載
工作
能力。系統配置不變的條件下,在一定時間內,終端在高負載情況下的效能行為表現。例如同時進行多個
ftp手機測試
中常碰到很多重複性高的工作,如傳送數條
sms
或者mms
以驗證其收發成功率以及穩定性、連續進行多次呼叫、多次對檔案系統進行新增刪除操作、多工多程序情況下的衝突測試以及極限測試等等,都是重複性高的工作,手動執行的話費時費力,如果能有一套自動執行的機制,將能大大提高測試的效率。由此產生了對手機自動化測試工具的需求。手機這種板機的
mmi功能測試不同於基於
pc上的
mmi測試,後者借助
pc平台,目前市場上已有非常多功能強大且通用的自動測試工具支援其測試,如比較典型的有
winrunner
,robot
,loadrunner
等等,但這些工具通常不能相容到象手機這種嵌入式系統中來。這就要求測試人員能夠基於當前平台進行二次開發,來滿足自動化測試的需求。手機的自動化效能測試一般分為以下幾個步驟進行:
1. 系統分析將系統的效能指標轉化為效能測試的具體目標。通常在這一步驟裡,要分析被測系統結構,結合效能指標,制定具體的效能測試實施方案。這要求測試人員對被測系統結構和實施業務的全面掌握。
2. 建立虛擬使用者指令碼將業務流程轉化為測試指令碼,通常指的是虛擬使用者指令碼或虛擬使用者。虛擬使用者通過驅動乙個真正的客戶程式來模擬真實使用者。在這一步驟裡,要將各類被測業務流程從頭至尾進行確認和記錄,弄清這些過程可以幫助分析到每步操作的細節和時間,並能精確地轉化為指令碼。此過程類似製造乙個能夠模仿人的行為和動作的機械人過程。這個步驟非常重要,在這裡將現實世界中的單個使用者行為比較精確地轉化為計算機程式語言。如果對現實世界的行為模仿失真,不能反映真實世界,效能測試的有效性和必要性也就失去了意義。
3. 根據使用者效能指標建立測試場景根據真實業務場景,對生成的測試指令碼進行複製和控制,轉化為滿足效能測試指標的測試用例集。在這個步驟裡,對指令碼的執行制定規則和約束關係。具體涉及到對業務型別,併發時序等引數的設定。這好比是指揮指令碼執行的司令部。這個步驟十分關鍵,往往需要結合使用者效能指標進行細緻地分析。
4. 執行測試場景,同步監測應用效能在效能測試執行中,實時監測能讓測試人員在測試過程中的任何時刻都可以了解應用程式的效能優劣。系統的每一部件都需要監測:協議棧,
mmi應用程式,記憶體占用情況,驅動程式執行狀態等。實時監測可以在測試執行中及早發現效能瓶頸。
5. 效能測試的結果分析和效能評價結合測試結果資料,分析出系統效能行為表現的規律,並準確定位系統的效能瓶頸所在。
在這個步驟裡,可以利用數學手段對大批量資料進行計算和統計,使結果更加具有客觀性。在效能測試中,需要注意的是,能夠執行的效能測試方案並不一定是成功的,成敗的關鍵在於其是否精確地對真實世界進行了模擬。在整個效能測試過程中,自動化測試工具的選擇只能影響效能測試執行的複雜程度,簡便一些或繁雜一些;但人的分析和思考卻會直接導致效能測試的成敗。所以這裡著重於對效能測試思路的整理。測試工具的介紹可以參看有關自動化測試工具的資料。
手機app效能測試
v1.0 bug fix a month ago gitignore initial commit 6 months ago license initial commit 6 months ago listener.apk add support test api 6 months ago read...
手機效能測試 總結
手機效能測試 手機測試策略伺服器效能 伺服器宕機時間 由於某些原因如果伺服器宕機或資料不可達,我們可以將資料儲存在本地資料庫。當伺服器宕機,我們可以顯示資料儲存在本地資料庫中。另乙個解決方案可能是資料庫故障轉移伺服器即如果其中乙個伺服器或在維護階段備份伺服器應該可以切換。故障轉移 備份伺服器應該在連...
效能測試指標 效能測試需求分析與指標分析
一般而言,被測物件的效能要求,會在使用者需求規格說明書中給出,如單位時間內的訪問量需達到多少,業務響應時間不超過多少,業務成功率不低於多少,硬體資源耗用要在乙個合理的範圍中,效能指標以量化形式給出。對於相對規範的產品,產品團隊一般會給出類似的要求 壓測後,滿足相關指標,則測試通過,若不滿足,則需要分...