機器學習筆記（1,2課）
一.線性回歸模型
1.數學模型
對於乙個具體的問題，x1,x2….是我們所選取的特徵，h(x)是我們所建立的模型，其中有n+1個引數。
我們希望所建立的數學模型可以很好的刻畫實際問題，而我們所擁有的就是訓練資料集。很自然的，我們希望數學模型可以較好的表述訓練資料集的情況。雖然對訓練資料的擬合情況好不一定就意味著能夠很好的**未知，但是如果對訓練資料**效能很差，那麼這樣的模型肯定是不合理的。因此，選取
作為損失函式，我們的目的是使得上式最小。
2. 求解方法
經過上面的數學建模，我們已經將問題轉換成了求解最優化的問題。求解這裡的最優化問題有以下幾種方法或者說手段：
1）梯度下降法
梯度的方向指向上公升最快的方向，使用這種方式，可以迭代求得使得j最小。
對於上面這句話，現在我的理解是這樣的：
如果用等值面的角度來看，那麼梯度的方向一定是垂直於等值線的，這個從圖中也很容易看出：
總之，自變數沿著梯度的反方向變化，一定是使得輸出趨近極小值的最快的途徑。
2）閉式解法
這種方法是用矩陣的形式表達
這裡用到的數學技巧是：用矩陣的形式表達平方求和。對於類似的求和形式，往往都可以用矩陣的形式來進行簡潔的表達。
用矩陣的形式表達之後，接下來就是利用矩陣求導的相關數學知識去求解的極小值。求解過程講義中有比較全的過程，需要注意的數學技巧：
tr(a)=a
a的轉置=a
乙個實數的求跡運算和轉置都是自己。在機器學習相關的數學推導中，常常有a=abc的形式。此時，就可以利用上面的數學技巧去對數學式進行變換求解。
機器學習筆記（一） 了解機器學習
1 人工智慧是我們想要達成的目標，機器學習是想要達成目標的手段，深度學習就是機器學習的其中乙個方法。2 機器學習，根據你提供的資料尋找乙個function，如下圖，輸入一段語音知道是 how are you 輸入貓的知道是 貓 怎樣找出這個function呢？第一，要有一系列的function，即模...
機器學習筆記（一）
統計學習三要素 模型 策略和演算法。模型分類有幾種，監督非監督，引數非引數等。監督學習又分為生成方法和判別方法。生成模型有 樸素貝葉斯和隱馬爾科夫。判別模型有 k近鄰，感知機，決策樹，邏輯回歸，em，svm，boost,crf.引數模型 引數個數固定，與訓練資料無關。非引數模型 引數個數依賴於訓練資...
機器學習筆記（一）
總結自 機器學習 周志華 基本術語 資料 類似日常生活中的經驗，記錄關於乙個事件或物件的描述 屬性或特徵 反映事件或物件在某方面的表現或性質的事項，eg 顏色 根蒂 屬性值 屬性上的取值，eg 烏黑 青綠 屬性空間 樣本空間 輸入空間 屬性構成的空間，eg 用顏色 根蒂構成乙個關於西瓜的二維空間系，...