學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。
對於上面這句話：你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分布和你的處理方法相符嗎？
沒有免費的午餐定理
也可以說是沒有放之四海皆準的演算法。針對不同的問題要有不同的模型與引數。比如人臉識別就得用metric learning，你用svm那根本沒法給標籤。
以及這兩句是乙個意思。。。延伸一下，努力不是放之四海而皆準的，不是看起來忙就是努力，也不是努力就一定能比不不努力強，你得目的驅動，看任務設計計畫。
訓練誤差training error empirical error，訓練資料的error，泛化誤差，generalization error。
一般都用 training error做引數訓練，模型建立，根據訓練資料的error而優化模型。而test error 就是我們用來評判模型好壞的標準了。
over fitting underfitting
overfitting把training 樣本的特點當作該類的特點，會把本來是本類的分為其他。underfitting特點提取的不夠，會把其他有本類一些特點的物品認為是本類。
機器學習周志華筆記
1，監督學習 分類 回歸 無監督學習 聚類 2，決策樹 根據資訊增益的大小來確定節點 資訊熵 描述事務確定性程度的值 需要多少個bit來描述資訊 ent d pklog2pk 資訊增益 資訊熵 某個屬性劃分的平均資訊熵 該屬性劃分純度 3，支援向量機中對超平面的理解 劃分超平面用以下線性方程表示 w...
周志華機器學習筆記（一）
新人一枚，既是機器學習的初學者，也是首次發部落格。謹以此記錄我的學習體會，做一些總結。望與大家共同學習 共同進步。文中若有內容錯誤或有措詞不嚴謹之處，望大家不吝指出。謝謝！根據上圖我們可以用乙個三維空間來了解以下幾個基本術語。屬性與屬性值 屬性反映事件或物件在某方面的表現或性質的事項，在此圖表示為軸...
機器學習筆記（周志華）1
第一章 緒論 1.1引言 機器學習致力於研究如何通過計算的手段，利用經驗來改善系統自身的效能 機器學習所研究的主要內容，是關於在計算機上從資料中產生 模型 的演算法，即 學習演算法 模型 泛指從資料中學得的結果 1.2基本術語 資料 資料集 示例 樣本 特徵向量 屬性 特徵 屬性值 屬性空間 樣本空...