(all is based on the stanford open course cs229.lecture 11.)
regularization(正規化)防止過擬合:保留所有的引數
貝葉斯學習方法:增加先驗概率,常用為高斯分布n(0,λ),使演算法更傾向於選擇更小的引數
體現在最大似然估計上就是增加懲罰專案,||θ||^2
////
接下來講的是如果演算法不起作用,如何分析改進乙個演算法
首先是bias和variance的分析,這在筆記六里講得很清楚了
cs229和coursera上不同的是是增加了叫做「fix optimization algorithm 「和」fix optimization objective」的分析
採用的方法有:
1)多做幾次迭代,看效果是否有改進fix optimization algorithm
2)嘗試其他演算法進行convergefix optimization algorithm
3)改變一些常量引數fix optimization objective
4)嘗試使用其他機器學習演算法fix optimization algorithm
而對於特定問題,我們必須自己去構造分析方法,andrew ng就舉了乙個關於自動駕駛直公升飛機的例子
能正確對演算法進行分析,才能避免無謂地浪費時間
////
接下來是針對乙個系統的分析,error analysis
乙個系統常常由多個機器學習演算法組成的,所以如果系統工作不順利,必須要分析出是哪個部分出問題了
error analysis就是對每乙個部件,依次用基準值(ground-truth)替換每個部件的輸出
看看整體系統的效果改變是否較大,如果較大就說明系統精度的瓶頸就在剛剛替換了的這個部件這裡
這在coursera上的課程上也有說明,但我好像沒有作筆記
////
再次就是ablative analysis(銷蝕分析)
和上面不同的的是銷蝕分析是在最後結果很高的情況下,remove乙個元件的輸出,來看每個部件對最後結果的影響
看看哪個組建值得優化,值得注意的是「依次」
////
最後一點就是the danger of over-theorizing
這就和有乙個寓言一樣:為了釘一幅畫,沒有錘子,去找錘子。做錘子要木頭,就去伐木
伐木要伐木機,就去找伐木機,伐木機沒油…………
//
(all is based on the stanford open course cs229.lecture 11.)
regularization(正規化)防止過擬合:保留所有的引數
貝葉斯學習方法:增加先驗概率,常用為高斯分布n(0,λ),使演算法更傾向於選擇更小的引數
體現在最大似然估計上就是增加懲罰專案,||θ||^2
////
接下來講的是如果演算法不起作用,如何分析改進乙個演算法
首先是bias和variance的分析,這在筆記六里講得很清楚了
cs229和coursera上不同的是是增加了叫做「fix optimization algorithm 「和」fix optimization objective」的分析
採用的方法有:
1)多做幾次迭代,看效果是否有改進fix optimization algorithm
2)嘗試其他演算法進行convergefix optimization algorithm
3)改變一些常量引數fix optimization objective
4)嘗試使用其他機器學習演算法fix optimization algorithm
而對於特定問題,我們必須自己去構造分析方法,andrew ng就舉了乙個關於自動駕駛直公升飛機的例子
能正確對演算法進行分析,才能避免無謂地浪費時間
////
接下來是針對乙個系統的分析,error analysis
乙個系統常常由多個機器學習演算法組成的,所以如果系統工作不順利,必須要分析出是哪個部分出問題了
error analysis就是對每乙個部件,依次用基準值(ground-truth)替換每個部件的輸出
看看整體系統的效果改變是否較大,如果較大就說明系統精度的瓶頸就在剛剛替換了的這個部件這裡
這在coursera上的課程上也有說明,但我好像沒有作筆記
////
再次就是ablative analysis(銷蝕分析)
和上面不同的的是銷蝕分析是在最後結果很高的情況下,remove乙個元件的輸出,來看每個部件對最後結果的影響
看看哪個組建值得優化,值得注意的是「依次」
////
最後一點就是the danger of over-theorizing
這就和有乙個寓言一樣:為了釘一幅畫,沒有錘子,去找錘子。做錘子要木頭,就去伐木
伐木要伐木機,就去找伐木機,伐木機沒油…………
//
機器學習學習筆記1(Ng課程cs229)
作為機器學習領域的先驅,arthur samuel在 ibm journal of research and development期刊上發表了一篇名為 some studies in machine learning using the game of checkers 的 中,將機器學習非正式定...
CS229學習指南
個人部落格 www.mwhitelab.com 本指南內含cs229的課程介紹 學習資料整合 學習建議等內容。強烈介紹萌新在學習cs229前閱讀參考。b站 內含中文字幕,但翻譯質量極差 youtube 講義 講義 作業 其他內容 3.1 關於學習門檻 cs229是斯坦福的機器學習基礎課,是學習cs2...
斯坦福吳恩達CS229機器學習 P4牛頓方法
邏輯回歸 牛頓法 指數分不族 廣義線性模型 將邏輯回歸和最小二乘模型聯絡在一起。極大似然估計模型 1 初始化thta,引數可初始化為0 2 delta f thta0 f thta0 thta1 thta0 delta thta0 f thta0 f thta0 牛頓方法的一次迭代 thta t 1...