所以具備快速驗證和及時修正這兩個能力就顯得非常重要,打造這樣的能力需要乙個完整的解決方案。我們認為,這個方案是乙個以a/b測試為核心,結合周邊多個系統能力,共同組成的乙個試錯平台。在這個平台上,我們的團隊,不管是業務方還是工程師,都可以快速應變,不畏懼出錯,變得靈動起來。 \
\ 說到a/b測試,這到底是個什麼東西?我個人的理解是:狹隘的說,a/b測試是以分桶為核心,以依據分桶結果執行不同邏輯為基本原理,以獲取最優解為目的一種測試方案。 \
一般認為,a/b測試的主要場景有兩種:對比實驗和灰度發布。 \
\\ 所謂對比實驗,就是同一時間執行兩套甚至多套方案,通過對比反饋資料,對這些方案作出評價。 \
\ 灰度發布則是,某個新功能或版本正式發布前,先圈一部分人作為小白鼠,試用這個功能或版本。我們從穩定性,業務效果等多方面觀察這部分試用者的反應,對這個新功能或版本作出評價。 \
不管是對比實驗還是灰度發布,最終目的都是期望只是發布帶來的效果最大化。 \
\ 乙個單一的a/b測試框架並不能幫助我們達成目的,還需要諸多周邊能力輔助。要實現豐富的分桶條件,需要裝置和使用者的資訊收集機制;要實現線上邏輯實時調整,要native邏輯動態化方案;要實現動態調整分桶邏輯,需要分桶條件下發系統;實現觀察對比實驗結果,需要資料收集和分析平台,等等。 \
在天貓,我們整合各方能力搭建了乙個稱為airtrack的試錯平台。在airtrack平台上動態實驗條件,實時運算sdk和資料收集和反饋平台三部分是重中之重。 \
\\我們把實驗條件的資料結構設計為一棵樹。根節點是運算起點,非葉子節點是乙個邏輯表示式,葉子節點都是實驗條件運算的結果。 \
\ 通過一段json描述這棵實驗條件樹,再利用配置中心的動態能力把資料動態下發到端,從而實現了實驗條件動態化。
{\ \"name\": \"demo\
不知道如何決定的時候就快速決定
谷歌母公司alphabet執行董事長埃里克 施密特 eric schmidt 在領英創始人里德 霍夫曼 red hoffman 主持的播客節目中,講述了他在谷歌時的管理秘訣。秘訣有兩個方面 自下而上地匯聚創意,自上而下地高效快速決策。在谷歌,工程師們被賦權,產品經理們的權力則 被關在籠子裡 產品經理...
商業智慧型決策系統解決方案
1.商業智慧型系統的目標商業智慧型系統是以業務流程管理系統採集的資料為基礎,對原始的資料進行加工,給出有利於決策形成的結果,幫助人們正確地進行經營決策。商業智慧型系統不僅反映原始資料的情況,還應該應用現代資料模型的方法對原始資料進行加工處理,從而更進一步地揭示資料之間的內在聯絡,實現商業智慧型化的要...
python決策樹分箱 快速分箱方法
python 分箱的一種方法 2018.08.02 r語言中有smbining可以進行最優分箱,python中分箱如果既要考慮箱體個數,分箱後資訊量大小,也要考慮單調性等其他因素。這裡給出一種簡單的通過iv值來選擇如果分箱的方法。下面是按照分位數來分的,還可以按照卡房分箱,決策樹分箱等。參照toad...