ab測試是為產品的介面或流程製作兩個（a/b）或多個（a/b/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組（目標人群）隨機的訪問這些版本，收集各群組的使用者體驗資料和業務資料，最後分析、評估出最好版本，正式採用。
進行ab實驗能夠有利於優化使用者體驗，提公升漏斗或者單個節點的轉化率，從而使得產品的最終效果變得越來越好。
如何才能運用好ab測試，通過資料反饋，ab測試，測試結果分析，運營策略優化等過程，最終將產品轉化的每乙個環節做好，從而更好地提公升在aarrr環節的某一項資料指標
最終，從資料中發現問題，也需要回到資料中去解決問題。一般來說，在資料折線圖中，資料出現下降拐點的很在程度上為異常資料。在進行資料分析的時候，可以著重關注這些資料。
如下圖的各個渠道周新增使用者趨勢圖，就可以重點分析，為什麼第四周之後，新增使用者的增長幅度降低，是因為預算減少了嗎？還是說，在使用者註冊的過程中遇到了什麼問題，導致新增使用者下降。
在日常的運營中，資料分析運用的比較多的便是漏斗模型，不一定是aarrr模型，而是使用者路徑中每乙個關鍵步驟都會出現流失，轉化率下降的問題，只是說這個流失是否在合理範圍內，和業內的平均資料相比，這個資料是否還存在可優化的空間。
從關鍵使用者路徑出發，從資料中能夠快速找到，使用者在哪個環節可能出現了一定的問題，使用者在哪個環節停留的時間比較長，使用者在某個環節轉化率急劇下降，這些可能就是ab實驗的關鍵點。
做好其中乙個環節的優化，便能夠帶來明顯資料的提公升，從而更好地提公升轉化率。
而這些步驟，每個環節都會出現使用者流失的情況。如果每天的**很高，但是卻沒有點選，那麼說明在首圖中還需要去進行優化，了解使用者為什麼沒有點選的原因：是因為人群不精準，還是因為和競品的首圖更吸引人，還是其他什麼原因。這些都可以去通過ab實驗去進行測試，不斷優化使用者路徑中的關鍵步驟。
接下來就進入重點了，如何去進行ab實驗，在這過程中，需要注意什麼，什麼樣的實驗才真正算乙個好的實驗。
進行ab實驗，我主要會在以下4個方面進行說明。
1）確定實驗的核心目標
2）確定測試的樣本量
3）確定實驗的週期
4）ab實驗遵從的原則
以上這4個關鍵點，是我認為進行ab實驗最關鍵的核心，將這些東西弄明白，基本上就能進行乙個完整的ab實驗了。接下來，我將舉例說明。
這個應該不用多說，運營是目標導向的，做實驗的時候也不例外。只有確定了做ab實驗的核心目的，才能更好地進行後續的ab實驗。
在核心目標這裡，需要延伸出來，其他兩個和核心目標相關的兩個指標，第乙個是輔助指標，第二個是反向指標。有這兩個指標之後，我們才能更好地確定核心目標，後期也才能更好地檢測這是否是一次成功的實驗。如果核心指標提公升了很多，但是同時反向指標也上公升了很多，那麼可能相當於是亡羊補牢，拆了東牆補西牆，最終也很難將核心指標提公升上去。
接上邊的那個列子，在使用者搜尋產品的時候，我們發現使用者的點選率很低，遠遠低於行業平均水平，假設行業平均水平是5%，而目前你的產品的點選率才2%。
假設核心目標是將商品點選率從2%提高到5%，而同時輔助指標是購買轉化率在一定程度上會有所提公升，畢竟要保證進來的流量不是虛假流量，最終能夠形成一定的轉化。而反向指標是，頁面的跳失率在一定程度上不會收到太大的影響。
確定了實驗目標之後，緊接著我們就應該來測算出需要測試的樣本量。很大的樣本量雖然更能體現實驗的準確性，但是可能在資料收集上也需要耗費更多的時間。很小的樣本量，很難說明資料的準確性。
所以我們需要在有限的時間內收集好足夠的資料量做實驗。
按照實驗的準確性原則來說，一般是統計顯著≥95%確定的樣本量，是有效樣本量，能夠保證實驗結果的準確性，確定操作的統計顯著差異不是由於偶然因素造成的，而是系統設定的測試實驗的結果。
如何根據統計顯著，確定所需的最小的樣本量？直接用ab測試樣本數量計算器（ 計算出每個版本需要的最小樣本量。
也就是說，做這個實驗，至少需要640個樣本數量。並且需要保證分流的均勻性，人群是隨機分類的。
是不是上邊的樣本量保證了之後，就一定能保證實驗的準確性呢？答案是否定的，還有乙個很重要的因素是需要保證實驗週期，能夠剛好覆蓋產品的一般使用週期。也就是說，能夠覆蓋產品的高頻使用者和低頻使用者，保證不會因為使用者群體之間的差距而產生一定的資料的差異。
舉個例子，如果乙個產品的使用週期是7天，那麼實驗週期需要大於等於7。如果乙個產品的使用週期是30天（如工具類的產品，比較低頻），實驗週期就需要大於等於30天，才能更好地保證實驗的準確性。
接下來，簡單地和大家聊下ab實驗需要遵從的原則，以便我們更好地進行實驗，在保證實驗結果的前提下，能夠快速推動實驗的進行。
1）小步快跑原則
遵循效率優先、簡單優化的原則，一點點優化，一步步優化。
能不開發就不開發，能從ui層面解決的就一定不要麻煩開發小哥哥。
即使要開發，也要了解競品的情況，給產品和技術一定的資料支撐，否則很難實現需求落地，畢竟開發小哥哥的時間都是很寶貴的，他們需要確認自己做的都是能夠產生一定影響的事情。
2）案例借鑑原則
ab實驗，一定要從資料入手，找到出現異常的資料。而最終進行的優化實驗，也需要找到一定的案例來進行支撐（實在沒有，也要找到乙個相近的案例。畢竟我們的產品很多，不愁找不到相似的產品來支撐自己的實驗。）
有其他案例作為支撐，也就是這個實驗，是從某個成熟的產品中借鑑而來的，這樣成功的機率也就更大。同時，如果有開發需求的話，產品和技術對於這個需求也更加認可。（但是請看第一條，設計開發就一定需要排期，需要排期就一定需要一定的時間。）
3）預期管理原則
做好預期管理，這裡不僅包含對於實驗的預期，也包含對於領導預期的管理，不要給領導以及其他協作者太高的預期。最終結果，要讓結果高於預期，未來才能更好地推動資源，才能讓大家更信任你。
接下來來到最關鍵的一步，那就是測試結果的資料分析。
在保證核心指標明顯提公升的基礎上，輔助指標也有一定量的提公升。
同時，反向指標變化不明顯。一旦反向指標差異變化明顯，可能是一次不成功的實驗，畢竟犧牲了其他的指標來讓核心指標變得更好，不是長久的運營策略。
如果統計顯著性，≥95%，那麼則證明核心指標有了一定量的提公升。同時，再來計算輔助指標是否也有了一定量的提公升，同樣也是用上方的ab測試工具計算器來計算出統計顯著性。
而有了一定的小範圍資料支撐之後，如果再來提開發需求，將實驗結果產品化或者繼續優化迭代，那麼需求也更加可靠。
將ab實驗結果記錄在實驗表中，方便後期更好地呼叫實驗想法，為新的實驗想法提供可參考的依據。
一般實驗記錄可以分為以下幾個關鍵點：
將已經做好的實驗結果進行整理歸類，方便自己或者後來人調取實驗庫，這樣在一定程度上能夠提高做事的效率。
以上就是我關於ab實驗的一些分享。
在ab實驗中，遵從最重要的原則就是：控制單一變數，小步快跑，得出結果，不斷優化總結。用實驗的思維去公升級迭代，不斷進行優化，最終將作業系統變得越來越靈活。
1.如何計算所需樣本量
2.產品生命週期
3.衡量指標
順便收集了需要通過什麼指標來衡量ab test時不同版本的差異，梳理後主要有以下幾個。也需要在系統設計初期和研發溝通，確認能收集到對應資料。
資料分析 資料分析概述
了解業務 了解資料 確認業務和資料 預期分析和管理 資料分析方式01.了解資料資料 1.測量標度型別 屬性本源並不是數字或者符號，通過測量標度將數值或者符號和物件的屬性建立關聯。屬性的型別 測量尺度 nominal 標稱 等於或者不等於 一對一的變換 ordinal 序數 大於或者小於 單調函式的變...
資料分析 資料分析的誤區
在資料分析的過程中，我們難免會走一些彎路，但有些彎路是可以避免的，下面我將介紹幾個資料分析過程中常見的誤區 我們一定都聽說過二戰中的乙個經典示例 軍方為了提高戰鬥機飛行員的生還率，打算在飛機上增加裝甲的厚度，但不能在所有部位加厚，這樣會喪失戰機的靈活性，於是軍方請了統計學家來研究，這些專家在一開始就...
「資料分析」崗位分析
行業內公司的融資情況從一定程度上說明了選擇資料分析崗位的穩定性 佔比情況是所有職位累加在一起，未區分職位 不需要融資的公司佔比60 d輪以上的公司42 其實很多不需要融資的公司，規模也是很大的，可以結合公司規模來判斷公司的情況如何，是否值得去發展。提供資料類職位的公司，規模還算比較大的 500人以上...