2017 06 02回顧 模型評價的正確方法

2021-08-02 03:22:17 字數 640 閱讀 1838

1、決策引擎調整

2、做了現在模型和上版模型的比較,令人意外的是上版模型在目前的放款客戶中有非常好的rank order,這就尷尬了,那畢竟是我摳腳建的模型,居然在現有模型的通過域中有這麼好的劃分,但是問題來了,我感覺到,如果把此模型用於全部樣本,可能區隔並沒有這麼好,因為這個模型當初12月、1月也使用過並沒有逆天的效果,略微好於現在,難道要把這兩個模型ensemble起來?直接ensemble通過率會非常非常低,但是對於壞賬卻比較有信心,直接ensemble實際應用肯定是不行的。那話說回來如何去評價上一版模型呢?一種理想的情況,進行ab測試,直接看逾期情況;看區隔度的話,兩個模型通過的都進行等分,不是就可以看區隔度嗎?比如a模型放grade abc,另乙個b模型放grade ab,後來看區隔度就是abc壞賬,ab壞賬,這種怎麼看呢?找乙個量化的評價指標,比如我仍然可以用iv啊,這是不等分的方式,如果等分呢?等分也可以啊!

但是現在回過頭來比較當前模型和上一版模型就存在乙個問題,當前模型可以通過的等分看,或者就實際grade看,但是上一版模型就只能在通過的人裡面來看,而不是上一版模型自己通過的人,這種比較方式只能說明兩個模型ensemble很棒,看到上一版的漂亮資料就直接拿來運用,肯定取不到這麼好的分化效果,那該如何評測呢?這裡就作為問題

3、下午就嘗試開始建乙個骷髏王2.0,開始做資料抽取,然後iv計算

2017 03 20回顧 霸氣

1 仔細看了矩陣求導的公式,推出了最小二乘的引數表示式,但是矩陣求導公式本身,我嘗試推導了一下,發現沒對頭,矩陣求導的關鍵就是對其中每乙個元素分別求導,然後照著 機器學習實戰 寫了最小二乘法的 2 和群內的夥伴交流了下,也說到了是否有意去外地,這成了我最近亟待考慮的問題 3 其中提到exprian的...

2016 12 28回顧 GBDT初探

gbdt是在sklearn的ensemble包中,屬於一種整合學習的思想,分為回歸樹和分類樹 from sklearn.ensemble import gradientboostingregressor from sklearn.ensemble import gradientboostingcla...

2016回顧與總結

2016年總結 工作半年了,回顧半年的經歷,總結如下 對產品都已經熟悉。對於常見的安裝過程中的問題也能夠判斷問題的大概。並且,通過指令碼的清環境安裝等,安裝過程中的問題也逐漸的減少。對我們自己內部的工具的使用,echo ring,nic status.py 等,論壇,gogs,wiki等的掌握使用。...