一.監督學習（supervised learning）:
輸入中的每個元素都給定了明確的型別，包含：
回歸問題：給定訓練集，**輸出為一些連續值。
分類問題：給定訓練集，**輸出為一些離散值。
二.無監督學習（unsupervised learning）：
輸入中的每個元素都沒有指定明確型別，使用聚類演算法，按照資料的結構將其分為多個聚類。
cocktail party演算法: 對乙個屋子中的兩個音源，在不同的位置放置兩個麥克風，通過兩個音源在不同位置麥克風中混合結果不一樣，將兩個音源分開。
三.單變數線性回歸：
1.評估函式：
評估擬合函式的優劣性，使用公式：
j(θ0,θ1)=（1/2m）*∑i（i=1~m) (hθ(x(i))−y(i))21
hθ(x)為擬合函式
2.梯度下降：
假設擬合函式為hθ(x)=θ0+θ1x，建立三維座標系，θ0為x軸，θ1為y軸，j(θ0,θ1)為z軸，建立曲面後，曲面的最低點即為擬合效果最好的函式，為尋找這一點，可以一直沿曲面倒數的相反方向移動θ0，θ1，直到收斂。
repeat until convergence:
θj:=θj−α[slope of tangent aka derivative]
對評估函式求導，該迭代過程變為：
這些每一次迭代都需要遍歷整個訓練集的演算法稱為batch gradient descent
四.線性代數基礎
向量指的是n*1的矩陣，又稱n維向量
將batch gradient descent中對整個訓練集的計算改為一次矩陣乘法
假設訓練集中有x=123,234,345,456,**函式為h(x)=-40+0.25x
那麼計算∑i（i=1~m)h(xi)的矩陣乘法為：
｜1 ， 123｜
｜1 ， 234｜ ＊ ｜－４０｜
｜1 ， 345｜ ｜０.２５｜
｜1 ， 456｜
得到的４維向量就是答案
stanford 機器學習筆記
個 史丹福大學機器學習課程個人學習筆記 上 zip 史丹福大學機器學習課程個人學習筆記 下 zip 一併附上原始講義 史丹福大學機器學習課程原始講義.zip 說明 部落格上很多提出的問題，我難以回答，因為我水平確實有限，更深層次的內容最好找相關大牛諮詢和相關 研讀。如果有想在我這個版本基礎上再新增自...
Stanford機器學習課程筆記 SVM
stanford機器學習課程筆記 svm 前面已經學習過svm，寫了幾片博文，如下 入門svm svm中的線性不可分情況 svm中的多類分類問題 如何使用sklearn中的svm 這一篇就來把上面學習的過程融合成乙個整體。svm分類器不是憑空而出的，它是和我們前面講到的lr回歸模型有關係的。或者說就...
Stanford機器學習系列之一 機器學習基本概念
機器學習 arthur samuel，1959 在確定程式設計之外給予計算機學習能力的研究領域。機器學習 tom mitchell，1998 如果電腦程式對於任務t的效能度量p通過經驗e得到了提高，則認為此程式對e進行了學習。監督學習 包括回歸 連續性問題 值或目標變數是連續的 分類 離散性問題 值...