對於兩類問題，設n+1維增廣訓練模式\(x_1 \,\, x_2 ... x_n\)已經符號規範化
如果訓練模式是線性不可分，不等式組沒解。目標：最少的訓練模式被錯分
n維餘量向量b>0
不等式方程組：\( xw \leq b > 0\)
要使盡可能多的不等式被滿足
其中\( x = \begin x_1^t\\ x_2^t\\.\\.\\.\\x_n^t \end\)
如果訓練模式是線性可分的，則不等式\(w^t x_i > 0\) (x=1,2...n)
分段二次準則函式：\( j(w) = \left \| (xw-b) - \left |(xw-b)\right | \,\,\right \| ^2 \)
使\( j(w^*) \)取最小值的最優解 \(w^*\)
採用共軛
梯度法求解最優解
針對等式方程組：\( xw= b \)
方差準則函式：\( j(w) = (xw-b)^t(xw-b) = \sum_^ (w^t x_i -b_i) \to min\)
採用做優化技術搜尋j(w)極小值點以求解不等式方程組
（1）如果方程有唯一解，極小值點即是該點，線性可分
（2）如果方程無解，極小值點是最小二乘解。
（1）偽逆法（廣義逆、m-p逆）- 計算量大很少用
（2）梯度法（widrow—hoff演算法）
\( \big********down j(w) = 2x^t(xw-b)\)
\( w(k+1) = w(k) - \rho_k x^t(xw(k)-b) \)
\( w(k+1) = w(k) - \rho_k (b_k - w^t(k) x_k ) x_k \)
平方誤差準則函式：\( j(x,w,b) = \left \| xw-b \right \| ^2 = \sum_^ (w^t x_i -b_i) \to min\)
準則函式\( j(\cdot)\)視為w和b的函式
（1）若\( xw(k) - b(k) <= 0, 則 \beta (k) = 0\)
（2）若\( xw(k) - b(k) > 0, 則 \beta (k) = -\rho \big********down_b j(\cdot) = -2\rho [xw(k)-b(k)] \)
b(k)的迭代公式為：\( b(k+1) = b(k) - \rho \big********down_b j(\cdot) = b(k) + \beta (k)\)，其中 \(\big********down_b j(\cdot) = -2(xw-b), \,\, \rho>0 \)
記誤差向量：\( e(k) = xw(k)-b(k) \)
由此\(\beta(k)\)可以統一寫成：\(\beta(k) = \rho [ e(k) + \left | e(k) \right | ] \)
由於\(w= (x^t x)^ x^t b = x^+b\)
從而w的迭代公式：\( w(k+1) = x^+b(k+1) = x^+ b(k) + x^+ \beta(k) = w(k) + x^+ \beta(k)\)
二次剩餘及尤拉準則
前置知識 二次剩餘 二次剩餘表示為qr，二次非剩餘表示為nr。勒讓德符號 left frac right 反證法證明 根據二次剩餘定義 二次剩餘是這樣一些數 12，22，32，p 1 2 mod p 又 p b 2 p2 2pb b2 b2 mod p 12，22，32，left frac righ...
python求解二次規劃問題
python中支援convex optimization 凸規劃 的模組為cvxopt,其安裝方式為 pip install cvxopt二次型 二次型 quadratic form n個變數的二次多項式稱為二次型，即在乙個多項式中，未知數的個數為任意多個，但每一項的次數都為2的多項式。其基本形式如...
二次型在一點的 二次型及其標準型
本文主要就二次型及其標準型中最基礎的概念進行總結歸類，這一點是考研中的基礎題目，也是乙個考研中大家容易忽略的乙個板塊，有時候容易出現計算錯誤，大家一定要注意，把這一塊練好，希望大家予以重視.定義1.數域k上的乙個n元二次型是係數在k中的n個變數的二次齊次多項式，它的一般形式是 1 式也可以寫成 我們...