在很多實際問題中，由於樣本特徵空間的類條件概率密度的形式常常很難確定，利用非引數方法估計需要很大的樣本空間，而且隨著特徵空間位數的增加所需的樣本數急劇增加，因此在實際問題中，我們往往不確定某個判別函式類，然後利用樣本集確定出判別函式中的未知引數。
線性判別函式法是一種較為簡單的判別函式，最簡單的是線性函式，它的分介面是超平面，採用線性判別函式所產生的錯誤率或風險雖然可能比貝葉斯分類器來的大，但是他簡單，容易實現，而且需要的計算量和儲存量小。因此可以認為線性判別函式是統計模式識別的基本方法之一。
模式識別系統的主要作用，判別各個模式所屬的類別，對乙個兩類問題的判別，就是將模式x劃分成ω1和ω2兩類。
用判別函式分類的概念兩類問題的判別函式（以二維模式樣本為例）
若x是二維模式樣本x = (x1 x2)t，用x1和x2作為座標分量，得到模式的平面圖：
這時，若這些分屬於ω1和ω2兩類的模式可用乙個直線方程d(x)=0來劃分
d(x) = w1x1 + w2x2 + w3 = 0
其中x1、x2為座標變數，w1、w2、w3為引數方程，則將乙個不知類別的模式代入d(x)，有
用判別函式進行模式分類依賴的兩個因素
用判別函式進行模式分類依賴的兩個因素
（1）判別函式的幾何性質：線性的和非線性的函式。
線性的是一條直線；
非線性的可以是曲線、折線等；
線性判別函式建立起來比較簡單（實際應用較多）；
非線性判別函式建立起來比較複雜。
（2）判別函式的係數：判別函式的形式確定後，主要就是確定判別函式的係數問題。
只要被研究的模式是可分的，就能用給定的模式樣本集來確定判別函式的係數。
n維線性判別函式的一般形式
乙個n維線性判別函式的一般形式：
其中w0 = (w1, w2, …, wn)t稱為權向量（或引數向量）, x = (x1, x2, …, xn)t。
d(x)也可表示為：
d(x) = wtx
其中，x = (x1, x2, …, xn, 1)t稱為增廣模式向量，w = (w1, w2, …, wn+1)t稱為增廣權向量。
兩類情況：判別函式d(x)
8.線性判別函式
例：設有乙個三類問題，其判別函式為：
d12(x)= -x1 - x2 + 5，d13(x)= -x1 + 3，d23(x)= -x1 + x2
若x =(4, 3)t，則：d12(x) = -2，d13(x) = -1，d23(x) = -1
分類失敗。
小結：線性可分
多類情況1和多類情況2的比較
習題
畫的好醜啊！！！
scikit learn機器學習 第三章 複習題
1.什麼是過擬合？什麼是欠擬合？怎麼樣去診斷演算法是否是過擬合或欠擬合？過擬合 訓練誤差很小，驗證誤差較大。高方差，欠擬合 訓練誤差和驗證誤差都很大。高偏差，診斷演算法 繪製這個模型的學習曲線 2.模型的擬合成本是什麼意思？它和模型的準確性有什麼關係？擬合成本 衡量模型與訓練樣本符合程度的指標 關係...
js模式第三章
迴圈物件為dom時，儲存dom物件的長度可以提高瀏覽器效能 現在還是的嘛？目前，我所說知道的兩種建立物件的方法，物件字面量和new object。其中，物件字面量方法更簡單明瞭，另乙個原因是它只是強調了該物件僅是乙個可變雜湊對映，而不是從物件中提取屬性和方法。與new object相比，物件字面量沒...
OpenGl學習第三章
上個星期學習了下金字塔的繪製，然後這週有看了看正方體的繪製，通過依次繪製6個面來繪製正方體，整體 跟上次的金三角沒有區別，只是座標點，顏色，已經繪製的 有點區別，上 看看 這是座標 private static float cubevertexcoords new float new float n...