1.1真通過與假通過
每次自動化相容測試結束後,wetest平台會返回乙份對應的測試報告,涵蓋測試過程中的詳細資訊,如裝置日誌、截圖、效能資料等,可以做進一步的結果分析。概覽資料涵蓋本次裝置維度的測試結果,包括通過的裝置數量、未通過的裝置數量等。
裝置維度未通過的定義為發生相容性問題,如crash、anr等。有時在測試過程中,指令碼可能未執行完畢,最終也會判定為通過,屬於假通過的情況,影響最終的統計結果。
每次提交相容性測試的機型都是幾十上百臺,對所有通過的機型再乙個個開啟校驗,時間成本太高,那麼有什麼方案能幫助我們快速找出來未真正執行指令碼的裝置呢?
1.2.airtest可以訪問到節點,指令碼執行報poco未檢測ui控制項節點
使用poco進行自動化測試過程中,有時候會發現airtest可以定位到的節點,執行過程卻報了node not found的錯誤,這是由於poco的ui樹未及時重新整理導致的,建議適當增加sleep間隔,等待ui節點樹重新整理。
1.3.部分機型有許可權彈窗問題
日誌上報是產品資料分析的基石,產品執行過程會在非常多的節點上報資訊,每次逐條檢查確認是個費時費力的過程,無論是從上報鏈路檢查還是從落庫資料檢查,手工操作、查驗結果都是乙個繁複的工作,且容易產生遺漏。因此,我們將ui自動化功能測試與日誌測試相結合,基於藍盾流水線和wetest,搭建了乙個日誌自動化測試模組。
因為打點日誌上報的量較大,我們需要精準地抓取本次操作產生的日誌,並作為關鍵字到db進行搜尋。這裡我們採用打本地檔案的方式,儲存執行過程的狀態以及用於定位本次搜尋的關鍵字,用於後續的操作校驗以及搜尋。
如何把自動化執行過程的資料傳遞給校驗模組,考慮過下面幾種方案:
1、 通過mq(redis、kafka等),實現資料傳輸到查詢校驗模組;
2、 另起服務接收資料,通過介面呼叫傳遞資料;
3、 將校驗模組耦合到日誌測試指令碼;
4、 本地日誌記錄,通過log檔案傳遞資訊。
基於不同功能模組解耦維護,以及開發成本上的考慮,最終我們選擇了最原始的檔案儲存形式,這種方式也便於問題查證的時候,能從wetest找到關鍵資訊。wetest相容性測試支援把檔案複製到開發機,在endtest.sh 檔案中加上:
cp ***.log $uploaddir/
即可配合流水線操作。
全量提交測試會導致任務週期久,並且公有雲裝置不可避免會存在等待時間,每次全量提交也可能給產品帶來額外的測試成本。
我們需要思考,每增加乙個測試機型,能給我們的流量帶來多大的覆蓋?哪些機型的佔比更高,更加重要?現有的wetest測試機型庫,是否滿足我們自己產品的機型覆蓋呢?
那麼,我們能否通過現網的使用者分布,疊加一些機型、系統分布條件,來進行更加精準的相容性測試呢?
利用上述資料,我們跟wetest的機型按照產品流量top50、100、300、500做了乙個交集,得到下面的佔比圖。
有了上述的機型資料,測試過程中可以進行更加精細的測試驗證:
1、相容性測試補齊產品流量中wetest現有機型,提高相容性測試覆蓋率。
2、不同的測試場景,選用不同測試機型組,縮小測試範圍,更快獲得結果。
3、可針對性購買測試機,補齊少數wetest平台沒有的機型,提高測試過程的使用者機型覆蓋。
以上,是在產品測試中使用wetest提高測試效率、覆蓋率的小小實踐,歡迎**~
工作時間(周一至周五9:30-18:30)
-您的質量守護專家
優速快遞聚力品效,不斷實踐 不斷優化
品效驅動貨量 貨量牽引收益 收益拉動盈利 加速贏取未來 品效 品效 品效。打牢集團底盤,以持續 穩定的品效服務驅動網路盈利能力,是集團決勝千里的不二法寶。加之,當前疫情所帶來的挑戰與機遇的雙面性影響,我們更要聚焦品xgmkelsa質和效率,伺機而起,不放過任何乙個逆勢而起的機遇。基於此,4 月 17...
前端優化實踐
問題0 通過配置nginx日誌和tomcat訪問日誌,進行分析檢視處理速度,發現伺服器處理速度很快,不是伺服器端邏輯處理的問題。那麼就是網路環境或者頁面解析的問題 最終發現以下問題 問題1 頁面跳轉過多,對於g網路發起連線慢的環境會對速度體驗造成巨大的問題 處理辦法 1,去掉 專案中不必要的跳轉 問...
效能優化實踐
由於系統表資料量達到百萬級別,所有就遇到了效能優化問題。總結解決問題思路如下 1 從使用者角度來說,介面的資料載入緩慢,超過5秒就是存在效能問題了。解決問題思路,首先,先確定瓶頸點在 確定是 的問題還是sql的問題,可以通過debug除錯或者日誌或者擷取堆疊資訊檢視耗時來確定。2 如果是 層面的問題...