本文闡述了探索性測試落地的整個實踐過程,以及過程中的酸甜苦辣。探索性測試重要的是人,本文就實踐過程中人的態度從最初的抗拒到最終成為自己習慣的轉變也進行了介紹。更介紹了如何從團隊層面讓成員的態度發生了變化的方法,對後續需要實踐探索性測試的同事及部門具有很大借鑑意義。
探索性測試 session
經過小組成員分析討論,**rru目前存在以下問題:
ø **rru種類多,有限時間覆蓋全困難。
ø 特性測試和系統測試都是忙於覆蓋率很難深入測試。
ø 測試過程監控難反饋不及時。
對照探索性測試的解釋,不難發現我們似乎可以應用探索性測試方法來解決我們的問題,於是我們決定實踐並將經驗在團隊內落地,讓更多的同事提高測試技能,通過深挖廣挖來提高交付質量,提高測試效率。
整個探索性過程我們分為三個步驟:
步驟1:探索性測試理論匯入
由參與過探索性測試的同事在團隊內部培訓探索性測試的概念,讓成員對探索性測試有初步的認識。
步驟2:探索性測試淺嚐
在團隊內選出有意向參與的同事,選擇具體的rru進行探索性測試流程的建立,執行與修訂,總結輸出探索性測試指導流程
步驟3:探索性測試深度接觸
將第二階段的成果惠及團隊所有成員,徵集有意向並積極參與的同事對具體的需求進行探索性測試,由熟練的同事指導,同時提公升。
通過三個步驟不斷的實踐總結,我們已經找到了適合我們自身的探索性測試的流程,對實際工作中測試指導意義很大。
理論匯入的基礎知識準備得益於南京馬欣同事的巡講,他巡講中的探索性測試對我的觸動特別大,我覺得可以通過啟發式模型建立起乙個對事物的模型,沿著模型去發散,深入,挖掘出對系統質量有意義的bug,提公升版本質量,非常不錯。對於我們**rru的測試具有非常大的參考意義。
在接下來的乙個月時間,我就開始琢磨如何才能將這麼好的理論知識在我們團隊內落地呢,理論再好,不能為我所用,終將是可惜的,於是我選擇了r8862 s2100進行實踐,當時對探索性測試的理解還比較淺,通過查詢多處資料,逐漸有了乙個大概的認識。在實踐的過程中總結出了《探索性測試理論知識》,並將這些知識在團隊內分享與大家討論。
至此,我們的理論匯入就完成了,但是在分享的過程中還是聽到了很多抗拒的聲音,認為這對我們測試真的有幫助嗎。
成立了8個人的探索性測試小組,為了明確目標我們小組召開了第一次啟動會,啟動會材料見附件。在啟動會上決議了第二點做法,事實證明群眾的智慧型是寶貴的。
小組內選擇了3個人進行探索性測試流程的建立,執行與修訂,其他5個人在評審環節參與把關。
為什麼不是所有人都參與流程的執行和修訂?
這個問題是大家在啟動會上決議的,目的就是在活動之初輕量級,風險比較小的完成。如果8個人都自選rru進行實踐,在理論,流程不是很成熟的時期容易失敗,看不到效果,很難繼續。
a、選定的3個人選擇了一款rru r8892n m1821,進行全流程的實踐與修訂。
b、最後形成定稿,輸出《**rru探索性測試指導書2.0》,在這個版本中描述了我們最初探索性測試的流程,rru探索性測試的流程, 主要包括6個步驟,詳見圖1:
圖1步驟1和步驟2是分析整款rru的特性,從步驟3~步驟6是對每個session都需要去完成的。
兩條迭代弧線的說明:
ø 弧線1新增session:這個弧線的作用是在講思路完了之後,各個專家可能就本session提了很多的意見和測試點,那麼有些測試點足夠大到需要增添session來完成,那就增添session到定主題之後的session列表中,重新分配時間來探索測試。
針對r8892n m1821實踐rru探索性測試,流程中每個過程從目的,參與成員,實踐情況以及輸出物都做了詳細的描述,請參考附件5。
這次的經驗總結非常重要,我們針對第一次團隊的探索性測試中,每個人就整個過程**現的問題以及心得體會做了很全面詳盡的總結,積累了非常寶貴的經驗。
過程中的問題:
1.流程雖然過了一遍,有點與平常測試不同的感覺,但是由於session分析的太大,無法深入挖掘。
2.報告模板有點繁瑣。
3.講思路時間太長,難抓重點。
4.對每個環節應該做什麼事情有些人並不是很清楚
針對問題主要改進體現在:
2.理報告重新設計了模板,更加簡潔,最終滿足測試人員和測試經理能夠了解此需求即可
3.講思路環節需要講的同事提前準備,抓重點脈絡講,節省大家的時間。
4.給大家就每個環節需要做的事情以及輸出物做重點講解,做到每個人都清楚明白,每個環節前後的因果關係也需要做詳細的闡述。
本次探索性測試並沒有發現太多的問題,而且大家感覺都不是很深入,一方面感覺這是一種好方法,但是就後續的繼續使用還是存在疑慮和迷茫的。
在第一輪總結會上我們加油打氣,繼續前行,吸取步驟2中的經驗教訓,我們在第三環節繼續深入體會探索性測試的魅力。我們的做法如下:
就本輪整個探索性測試的時間,人員分工,以及要求和大家達成一致。對每個環節的輸出物做了書面輸出。
每個小組由組長帶領成員一起完成所有環節,達到了全員參與,每個環節詳細的資料見wiki鏈結
① 探索性測試是行之有效的方法,對個人能力提公升有很大幫助。
② 觀測ue測量中rtt指作為常規業務接入時看的觀測點,這個也是我們本次探索到的乙個亮點。
③ 發現嘗試配置的變換來增加探索深度是非常必要的。
④ 理論深入對測試分析、設計的幫助
⑤ 探索結對測試可以優勢互補、彼此深受啟發,感悟三人行,必有我師,謙虛好學提高自己。
⑥ 探索出來的ec基本可以找到復現的規律,定位問題節省時間
⑦ 探索的過程非常聚焦,擴散的比較多,效率比較高。
⑧ 探索的範圍比較小的時候比較容易深入。
⑨ 探索性測試一定不是常規的條目測試。我們的範圍進行了二次討論
⑩ 通過探索性測試了解熟悉了探索性測試的流程,更深一步的理解了探索性測試的理念
⑪ 在進行session測試的過程中,對該session相關的知識更深入的進行了挖掘,更加深刻的了解和學習了這方面的知識點。
⑫ 探索性測試能彌補我們平時測試中的一些薄弱點,更深層的探索暴露系統問題,確保產品質量。
本輪探索性測試之後大家對探索性測試的態度已經轉變為期待,主動去嘗試,因為發現了之前測試中沒有發現的深度問題,體會到了探索性測試的美,堅定了大家的信心。
機緣巧合,有線院的同事找到我們希望能借鑑我們探索性測試的經驗,加強連線,我們就自身的經驗進行了再次的精簡提煉,給有線院開展了一次探索性測試工作坊,當時的教練有劉金,翟堃,劉英輝,陸海燕,工作坊之後反應不錯。
後來定稿的探索性測試流程如下:
我們的落地理論再一次得到了完善。收穫很大。
在有線院辦完工作坊之後,看到別院用的風風火火的,我們也趁熱打鐵又繼續了一輪,這次我們是在整個團隊招募希望學習,嘗試探索性測試的同事,大家看到了之前探索性測試的優點,都很願意參加,我們又選擇了4個人,每人乙個題目進行探索性嘗試,由之前熟練掌握的同事來進行指導,同時提高,教學雙方都收穫不少,隨後再次在團隊培訓探索性測試實踐結果,讓整個團隊的同事看到效果。大家的思維模式也會慢慢發生轉變,目前我們在版本測試中遇到需要探索的課題,就會採用探索性測試的流程去實踐,成為測試的一種常態,常態化之後乙個人或者兩個人都可以去輕鬆的實踐。
為了體現大家的技能提公升的視覺化,我們團隊技能矩陣增加了探索性測試技能項,通過實踐的情況來評估體現,提公升大家的積極性
希望在往後的日子裡我們提到測試,大家自然而然的會使用探索性測試中的思維方式去制定策略,測試學習並執行,就達到了最終的完美。
通過幾輪探索性測試的實踐,無論是從理論知識還是從實踐經驗上,都得到了很大的提公升,大家的態度也發生了很大的變化,從剛開始的抗拒到勉強接受,再到後來的期待,達到最終的習慣。這個過程是很珍貴的。整個團隊測試技能的提公升是測試效率提公升的堅實基礎,探索性測試已經成為測試人員的一種習慣,有效的保證了版本質量。下面是乙個視覺化的效果評價
探索性測試
每乙個好的缺陷背後,都可能藏著乙個更好的缺陷,在你確實了解缺陷的影響程度和破壞力之前永遠不要停止探索。探索性測試的目標 理解應用程式如何工作,他的介面看起來怎樣,實現了什麼功能 強迫軟體展示其全部能力 找到缺陷 探索性測試的方 賣點測試法 此方法鼓勵測試人員 銷售部門給客戶演示的demo,理解從銷售...
探索性測試
探索性測試概念 摘 探索性測試 et 是敏捷世界裡的一種重要測試方法,作為乙個研究性的工具,它是使用者故事測試和自動化回歸集的重要補充。它是一種經過深思熟慮的測試方式,沒有測試指令碼,可以使你的測試超出各種明顯已經測試過的場景。探索測試將學習,測試設計和測試執行整合在一起,形成一種測試方法。探索性測...
探索性測試
探索性測試的定義 探索性測試 et 是敏捷世界裡的一種重要測試方法,作為乙個研究性的工具,它是使用者故事測試和自動化回歸集的重要補充。它是一種經過深思熟慮的測 試方式,沒有測試指令碼,可以使你的測試超出各種明顯已經測試過的場景。探索測試將學習,測試設計和測試執行整合在一起,形成一種測試方法。探索性測...