1.模型本質是乙個函式,輸入->f(輸入)->輸出
1.1f(x)是乙個複雜的函式,由簡單的函式組成,神經網路中,f由多層神經層組成,每層神經層由神經元組成,神經元是具體的函式h(x),
h稱為啟用函式,一般型別有:sigmoid函式,tanh函式,relu函式,softmax函式等,x是線性矩陣函式w*x+b
2.訓練模型的過程是調整f的各個引數,使輸出和實際值盡量接近.「訓練」神經網路實際上意味著使用訓練影象和標籤來調整權重(w)和偏差(b)，以便最小化損失函式
3.輸出與實際值之間的差距用損失函式表示.損失函式有多種型別:log對數損失函式,平方損失函式（最小二乘法, ordinary least squares ）,指數損失函式（adaboost）,hinge損失函式（svm）,0-1損失函式,絕對值損失函式,交叉熵損失函式
4.減少損失函式即調整w和b使loss最小,對於這種多引數的函式式,求最小值現在沒有明確的數學公式,現行辦法是一點點改變w和b得值嘗試,有多種調整w和b得方式,稱為優化函式(優化器):bgd 批量梯度下降,sgd隨機梯度下降,mbgd小批量梯度下降. 每次調整w和b大小,調整的比率稱為學習率,學習率太大,可能錯過最小值,學習率太小則訓練過程太慢,學習率指數衰減,避免鞍點
5.過擬合,在機器學習的模型中，如果模型的引數太多，而訓練樣本又太少，訓練出來的模型很容易產生過擬合的現象,對訓練集**準確,對測試集準確率下降
重要機器學習演算法
從svm到隨機森林，再到梯度提公升機，他們都是機器學習領域應用廣泛的代表。svm的理解可以參考該部落格 svm，支援向量機就是一種將低維資料通過核函式對映到高維空間，對資料進行某種變換，使得資料在高維空間可以輕易的實現分離。隨機森林 發現隨機森林這個演算法在分類問題上效果十分的好，大多數情況下效果遠...
機器學習理解
關於機器學習最簡單的定義來自於berkeley所表述的 機器學習是ai的乙個分支，它探索了讓計算機根據經驗提高效率的方法。為了更深刻的理解這一定義，接下來我們將對其進行拆分分析。ai的分支 人工智慧是一種能夠使得計算機及其系統能夠成功完成通常需要人類智慧型行為才能完成的任務的研究和開發。機器學習是訓...
機器學習重要概念補充
多項式回歸對非線性資料進行處理的方法 研究乙個因變數與乙個或多個自變數間多項式的回歸分析方法，稱為多項式回歸 polynomial regression 完全是使用線性回歸的思路，關鍵在於為資料新增新的特徵，而這些新的特徵是原有的特徵的多項式組合，採用這樣的方式就能解決非線性問題。多項式回歸是公升維...