主要內容
值得注意的地方
1.感知器的損失函式
與logistic回歸和線性回歸等不同，感知器的定義了增廣的規範化樣本y
iy_i
yi，α
\alpha
α作為解向量的充要條件是
α ty
i>
0\alpha^ty_i>0
αtyi
>
0對所有i
ii成立，因此，損失函式就是
j p(
α)=∑
αtyk
≤0(−
αtyk
)j_p(\alpha)=\sum_(-\alpha^ty_k)
jp(α)
=αty
k≤0
∑(−
αtyk
)注意到感知器沒有概率模型，因此沒有使用最大似然估計，另外也沒有使用均方差。
2.非方陣矩陣的偽逆
非方陣矩陣t
tt的偽逆為
t +=
(ttt
)−1t
tt^+=(t^tt)^t^t
t+=(tt
t)−1
tt3.大間隔的意義
大間隔等價於最小化更小的vc維上界，vc維部分反應了模型的複雜程度，相同樣本的情況下，更小的vc維可以使得模型具有更好的推廣能力，這就是最大間隔的意義
4.軟間隔支援向量機中，α
\alpha
α值的意義
α =0
\alpha=0
α=0，正確分類的非邊界樣本
0
<
α<
c0\lt\alpha\lt c
0<
α<
c，邊界支援向量
α =c
\alpha=c
α=c，錯分支援向量
5.多分類器：一對多，一對一
一對多，訓練器少，但會面臨樣本不均衡的問題，且會有模糊的結果，因為c-1個平面並不一定恰好分得c個區域，分類器之間得到的輸出值往往不具有可比性。
一對一，不會出現不平衡的問題，決策歧義比一對多少，但需要c(c
−1)2
\dfrac
2c(c−1
)個分類器
主要內容
值得注意的地方
1.分段線性判別函式與區域性加權回歸
實際上區域性加權回歸就是乙個分段線性判別函式，且如果新的樣本稠密的化，決策平面可以十分光滑
2.萬能近似定理
萬能近似定理只是存在性定理，說明了適當結構的三層前饋神經網路可以以任意精度逼近乙個連續有界的函式
3.神經網路的編碼和預處理
4.隱層節點的選擇
5.利用特徵變換提煉資料的非線性特徵
特徵變換將面臨維數災難問題，而svm的核方法採用迂迴策略，不直接計算特徵變換，很好地解決了這一問題。
6.常用核函式主要內容
決策樹與隨機森林
logistic回歸
boosting方法，adaboost，整合學習方法，對前乙個分類器的錯分樣本更大的權值來訓練後乙個分類器。
值得注意的地方
1.先減枝，後減枝
先剪枝沒有全域性觀念，且不會回溯，缺乏對後效性的考慮，可能導致樹的生長提前終止；後剪枝的方法在實踐中更為成功，利用了所有的樣本資訊構建決策樹，但計算代價更大。
主要內容
特徵選擇的最優演算法，分支定界法
特徵選擇的次優演算法、
特徵選擇的遺傳演算法
以分類效能為準則的特徵選擇方法
主要內容
值得注意的地方
1.特徵選擇和特徵提取的區別
特徵選擇是在可以得到的所有特徵中選擇合適的特徵建模，而這裡的特徵提取是通過數學變換得到一組新的特徵
2.kl變換
可以對總體進行kl變換，也可以單獨對各類進行kl變換。
3.模式識別問題的五個階段主要內容
值得注意的地方
1.可識別性問題
如果可以從混合概率密度中恢復所有的引數，則是可識別的。
2.用均值來代表一類樣本的侷限性
用均值來作為一類樣本的代表點，只有當類內樣本的分布為超球狀或接近超球狀（各維特徵上的樣本方差接近）時，才能取得好的效果，這也是引入馬氏距離的動機。
主要內容
值得注意的地方
1.驗證集的必要性
始終記住我們需要乙個泛化誤差小的模型，我們完全可以使用測試集上的誤差來指導模型和引數的選擇，但是，由於最終選好模型後，我們仍然使用測試集估計泛化誤差，這種估計就會成為一種樂觀的估計，因為在人為調整引數和模型使得誤差小的過程中，我們就相當於在對測試集進行超引數的擬合，最終再使用測試集來判斷超引數的是不對的，所以需要用驗證集擬合超引數，測試集進行最後的誤差估計。
2.非監督評價的誤區
當人們用聚類分析作為一種手段來探索未知的科學問題時，主觀的判斷有時會在無意中加強研究者本來的猜測，或者加強人們之前已經看到或猜想過的規律，而忽略未事先想象到或與一千認識不符的現象，從而導致錯過發現新規律和新模式的機會。
第十一周學習總結
這一周主要是學習數論這一部分，對於這一部分的練習題，我覺得放在其他的練習題裡，我可能會把握不準確是不是應該用數論的知識去解決，因為我在做題的時候，首先想到的是用一種很常規的思路去做，然後可能就是乙個迴圈我覺得就可以解決，但是通常情況下我這樣寫都是錯誤的，比如有乙個題我是想用乙個迴圈，每當我輸入乙個資...
第十一周學習總結
這個作業屬於哪個課程 2020 2021 1資訊保安專業導論 這個作業要求在 這個作業的目標 作業正文 第十五章 給出了區域網的各種拓撲，需要遵守的網路協議，並詳細介紹了網域名稱系統。可以感受到計算機網路的通訊是層次豐富井井有條的。第十六章 介紹了一般的web處理，編寫基本的html文件的基本方法。...
第十一周學習總結
本週學習了c語言中的一些演算法，詳細看了教材中關於演算法的介紹，會編寫一些簡單的程式演算法。之後學習了for迴圈語句和陣列語句，基本掌握了使用這些語句的方法。了解了break flag的使用方法，編寫了判斷素數和輸出陣列的程式。特別是在做ctf題目時收穫很多，嘗試了各種方法，尋找各種資源，鍛鍊了自己...