1，監督學習：分類、回歸
無監督學習：聚類
2，決策樹：根據資訊增益的大小來確定節點
資訊熵：描述事務確定性程度的值（需要多少個bit來描述資訊），ent(d) = -σpklog2pk
資訊增益：資訊熵-某個屬性劃分的平均資訊熵（該屬性劃分純度）
3，支援向量機中對超平面的理解：
劃分超平面用以下線性方程表示：wtx+b=0; w為法向量，b決定了該平面到原點的距離，但平面到原點的具體值：b/||w||;
wtx表示：||w||*x在法向量上的投影長度，所以r=|wtx+b|/||w|| 表示 當前點到平面的距離（x在法向量上的投影-平面到原點的距離），cos值相當於確定了方向
4，梯度（模最大的方向導數，有方向，向量）：從小值指向大值，值為該方向上的導數值
周志華 機器學習 筆記
學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。對於上面這句話 你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分布和你的處理方法相符嗎？沒有免費的午餐定理 ...
周志華機器學習筆記（一）
新人一枚，既是機器學習的初學者，也是首次發部落格。謹以此記錄我的學習體會，做一些總結。望與大家共同學習 共同進步。文中若有內容錯誤或有措詞不嚴謹之處，望大家不吝指出。謝謝！根據上圖我們可以用乙個三維空間來了解以下幾個基本術語。屬性與屬性值 屬性反映事件或物件在某方面的表現或性質的事項，在此圖表示為軸...
機器學習筆記（周志華）1
第一章 緒論 1.1引言 機器學習致力於研究如何通過計算的手段，利用經驗來改善系統自身的效能 機器學習所研究的主要內容，是關於在計算機上從資料中產生 模型 的演算法，即 學習演算法 模型 泛指從資料中學得的結果 1.2基本術語 資料 資料集 示例 樣本 特徵向量 屬性 特徵 屬性值 屬性空間 樣本空...