移動端A B測試5問

2021-09-17 08:47:19 字數 1798 閱讀 6615

做a/b測試的理由很多,facebook、google、bat、滴滴、美團……大公司都在做。但知道它們為什麼做?怎麼做?a/b測試有哪些方**來指導最近實踐,讓我們來看點乾的。

什麼是移動端a/b測試?

a/b測試簡單講,就是我們同時對同乙個**的兩個版本進行試驗,測量關鍵指標,選出最優版本。移動a/b測試就是指把這個試驗用來對比優化移動應用。

通常為了將變數與測試結果相關聯,a/b測試一次只改變乙個變數。同時改變多個變數的a/b測試我們把它叫多變數測試,或 mvt 。這些測試對於測量同乙個頁面上的不同變數之間的相互作用是有用的,但必須精心設計,以找到有意義的相關性。

移動端a/b測試應該測試什麼?

對於移動端,幾乎所有都可以(並應該)進行a/b測試。許多人認為只是粗淺的以為a/b測試只能用在設計變化上,比如調整登陸按鈕顏色等,這是不對的。理想情況下,a/b測試過程囊括比使用者介面元素多得多的內容。通常來說,移動端可進行a/b測試的包括:

從移動端a/b測試中能得到什麼?

我們從案例研究發現,比起提公升轉化率企業應用更擔心的是產品崩潰等迭代風險。乙個流行應用程式的a/b測試務必要確保必要的變化(如更新和公升級)不對使用者體驗造成負面影響。這也是一款a/b測試工具好壞的評判標準。

在理想的情況下,我們可以認為乙個改變能提公升轉化,沒有任何後果,但在現實中,每乙個變化都是權衡折中的結果。不知道你放棄了什麼,是做不出好的優化決策的。

怎麼做好a/b測試?

決定為你的產品進行a/b測試是朝正確方向邁出的第一步,但不是最後一步。還需要設計乙個有效的測試,讓分析軟體來幫你分析。

通常,a/b測試應該是徹底的,花時間為你能想到的每個有意義的變數設計測試。優秀a/b測試平台設計哲學的一部分是:發現你不知道你不知道的(通常來說知識或資訊有四種型別,你知道你知道的、你知道你不知道的、你不知道你知道的、你不知道你不知道的,你不知道你不知道的對我們的價值可能是最大的)。所以需要平台能顯示使用者在a/b測試中所有的統計顯著場景。即使乙個變數對你似乎不重要,資料也可能會告訴你乙個不同的故事,而這就是好的a/b測試工具的價值。

一旦開始a/b測試,就不得不考慮測試使用者群體細分,這取決於你的測試目的是什麼。

如果打算發布乙個新功能,最好把這個功能先發布給最忠實的使用者。你可以給這些忠實使用者發一些訊息宣布新功能,並提供反饋渠道。他們更容易理解新功能,並能提供有價值的使用資料。

測試了部分使用者的反應之後,準備推出這個功能給全部使用者,這時候就可以給全部使用者傳送更新訊息。

另外,如果你正在做乙個小的布局更改,你可以根據使用者使用頻次把他們放到不同的類別裡,也許是不活躍的使用者對更新感到困惑(或反之亦然)。如果兩類使用者集中在一起的,你可能不會得到乙個有意義的結果,因為它不會告訴你布局變化的好壞。事實上,所有使用者雜糅在一起,導致即使我們做了a/b測試,也得不出有效結果。所以,我們需要按使用者群體細分去做a/b測試,高質量使用者、留存使用者、低質量使用者、不活躍使用者,它們的行為是怎麼的?這才是有效a/b測試的關鍵。

分類發現區別,區別找到差異,差異引爆增長,事實上 facebook 、 twitter 、dropbox 等公司就是通過這種方式發現增長密碼的。這裡可能會引出同期群分析相關的概念及實踐,感興趣可以參看我們的這篇文章:找到產品中的aha moment,像facebook一樣增長。

那麼,準備好開始你的第乙個移動端a/b測試了嗎?

移動端測試

1 首先是測試資源確認及準備 1 產品需求文件 產品原型圖 介面說明文件以及設計說明文件等應齊全 2 測試用例的設計與評審 1 根據產品需求文件 產品原型圖等文件,設計客戶端的一般功能測試用例 2 測試用例評審 修改與完善,評審通過後著手進入正式測試階段。3 ui測試 1 確保手頭的原型圖與效果圖為...

移動端測試

移動資料平台 talkingdata 移動觀象平台 業務邏輯正確性測試 一句產品文件設計測試用例,加上隱性需求用例 相容性測試 系統版本 android 4.4 5.0 6.0 7.0 ios 原生系統 5.0 螢幕解析度 720 1280,1920 1080 根據解析度做一些 網路狀態 2g,3g...

sessionStorage 移動端相容問題

開發移動端專案,需要前端頁面儲存一些使用者資料是乙個常見的功能,sessionstorage和localstorage就是常用的選擇,最近移動端專案用到sessionstorage時遇到一些問題,如 vivo手機自帶瀏覽器 問題如下 a.html頁面記錄一條資料,sessionstorage.set...