傳統機器學習演算法主要包括以下五類：
（1）線性回歸：找到一條直線來**目標值；
（2）邏輯回歸：找到一條直線來分類資料；
（3）k-鄰近：用距離度量最相鄰的分類標籤；
（4）樸素貝葉斯：選擇後驗概率最大的類為分類標籤；
（5）決策樹：構造一顆熵值下降最快的分類樹；
（6）支援向量機（svm）：構造超平面，分類非線性資料；
（7）k-means：計算質心，聚類無標籤資料；
（8）fp-growth：分析資料的關聯關係，從頻繁項集中產生關聯關係，輸出置信度；
（9）pca降維：減少資料維度，降低資料複雜度；
（10）人工神經網路：逐層抽象，逼近任意函式；
（11）深度學習：底層特徵->中層特徵->高層特徵->**識別->結果。
1、什麼是監督學習？
從給定的訓練資料集中學習出乙個函式（模型引數），當新的資料到來時，可以根據這個函式**結果。監督學習的訓練集要求包括輸入輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。
2、常見問題：
（1）回歸問題：**房價
（2）分類問題：**是否患癌
1、什麼是無監督學習？
在非監督學習中，資料沒有附帶任何標籤，學習過程中並不知道分類結果是否正確。
2、常見問題：
（1）聚類問題：
（2）雞尾酒會問題：酒會中有兩個話筒，乙個主要接收人聲，乙個主要接收bgm。如何使用電腦將人聲和bgm分離？
1、字元定義：
2、監督學習演算法的工作方式：
3、單變數線性回歸模型：
4、cost function (代價函式)：
目標便是選擇出可以使得建模誤差的平方和最小的模型引數。
直觀感受假設函式h與代價函式j：上述代價函式可以用三維圖或者輪廓圖表示出來。
可見區域性最優解在輪廓圖的最內圈或者三維圖的最底下。
5、gradient descent (梯度下降演算法)：
（1）演算法思想：先找到下降最快的方向，走到新位置再調整方向，不斷重複，直到走到最低點。
（2）演算法過程：
α為「學習速率」，控制以多大的幅度更新引數。
如果α太小，下降速率太慢；如果α太大，導致無法收斂。
注：每次迴圈都要同時更新θ0
,θ1（3）question：為什麼梯度下降能夠達到區域性最優值？
當我們接近區域性最優時，其定義就是導數等於0，當我們接近區域性最優，導數項會自動變小，梯度下降演算法會自動採取越來越小的步子。
（4）gradient descent for linear regression (線性回歸梯度下降演算法)：
機器學習筆記 基本概念
首先我們以人來舉例 你在買蘋果的時候，看到乙個蘋果，它黃裡透紅 果皮粗糙 硬度稍軟，我們就可以判斷它比較甜，這是因為我們已經有了類似的經驗，通過對經驗的應用就可以做出相應的判斷。這種對經驗的利用是我們自發形成的，但是機器是否能做到呢。機器學習就是這樣一門學科，它致力於研究如何通過計算的手段，利用經驗...
機器學習基本概念心得筆記（一）
1.基本概念 訓練集，測試集，特徵值，監督學習，非監督學習，半監督學習，分類，回歸 2.概念學習 人類學習概念 鳥，車，計算機 定義 概念學習是指從有關某個布林函式的輸入輸出訓練樣例中推斷出該布林函式 概念定義在例項 instance 集合之上，這個集合表示為x。x 所有可能的日子，每個日子的值由 ...
機器學習基本概念與定義（《機器學習實戰》筆記）
基於例項的學習和基於模型的學習 機器學習主要面臨的挑戰 測驗與驗證 乙個簡單的擬合例子 在 機器學習實戰 書中，作者給出了兩個定義，首先是籠統的定義 機器學習研究如何讓計算機不需要明確的程式也能具備學習能力 之後是更偏工程化的定義 乙個電腦程式在完成任務t之後，獲得經驗e，其表現效果為p，如果任務t...