註解：乙個分類問題：
二分類和多分類問題的分類結果評估指標、回歸模型(針對的是連續變數)的評估指標：
對線性模型的理解：
一維空間：線性模型是乙個點
二維空間：線性模型是一條直線
三維空間：線性模型是乙個平面
如果要求模型強行通過每乙個待擬合的點，那只會過擬合，泛化能力會很差。
在深度學習中，欠擬合的情況是很少的，更多的是過擬合。
為了防止過擬合，需要採取一系列的正則化措施，比如對權重進行懲罰。
在深度神經網路訓練的過程中，訓練誤差會越來越小，測試誤差會越來越大，(這是乙個偏差和方差的矛盾，見下圖)所以要找到乙個合適的時間點的引數，這個操作叫做"早停"，"early stopping"
bias:偏差， 偏差大，表示欠擬合
variance:方差 方差大，表示過擬合
optimal capacity，我們認識是泛化誤差最小的時間點
機器學習中的極大似然估計：讓所有的樣本都被**正確這個事件的概率最大化。每個事件發生的概率都是(0 ,1),很多個事件的連成積肯定是乙個很小的數，所以取物件，讓連乘變成連加求和，這樣好操作一些。函式單調性不變。我們一般希望最小化乙個東西，不喜歡最大化乙個東西，所以，加個負號，就變成了最小化乙個函式了。
k-means演算法對隨機初始化的分類點的位置比較敏感，如果選擇隨機初始化的位置不是太好，可能會陷入區域性最優。
機器學習優化的過程也是乙個梯度下降的過程，就是找到損失函式最小化的位置時候的引數權重。
均方誤差：
均(m)------分母是m個樣本
方(s)------誤差的平方
誤差(e)-----**值減去真實值
線性回歸模型----優化斜率和截距，使得模型值-樣本值的均方誤差最小。
主成分分析本質上是求得協方差矩陣的特徵值和特徵向量，把高維的資料通過線性降維的方法對映到低維，找到兩個最大的主成分方向來進行對映。
對於深度學習而言，維度是比較複雜的，優化的過程中存在區域性最優值和鞍點，被優化函式是非凸的。
機器學習第五章
今天看了 機器學習 的第五章神經網路部分。本章主要講述的是 1.神經元是神經網路模型的最基本的單元 2.m p神經元模型包括輸入層 隱層和輸出層。2.1輸入訊號進行加權式的連線 2.2輸入層僅接受輸入，不進行函式處理，隱層和輸出層包含神經功能元 3.比較經典的神經網路的演算法是bp演算法 標準bp演...
機器學習（第五章）
最普遍的定義是 神經網路是由具有適應性的簡單單元組成的廣泛並行互聯的網路，它的組織能夠模擬生物神經系統對真實世界物體做出的互動反應。神經網路的最基本成分是神經元模型。在生物網路中，神經元的活動是以0或1的狀態存在的，乙個神經元可以接受多個神經元的訊號輸入，當所有輸入超出閾值時，接受輸入的神經元就會發...
python第五章 Python學習（第五章）
記錄所有的名片字典 card list defshow menu 顯示資訊 print 50 print 歡迎使用 名片管理系統 v1.0 print print 1.新增名片 print 2.顯示全部 print 3.搜尋名片 print print 0.退出系統 print 50 defnew ...