各種型別的機器學習問題。
不同型別的輸出空間。
3.1.1 binary classification
二元分類問題。
前幾章一種用來作為例項的銀行發信用卡問題就是乙個典型的二元分類問題，其輸出空間只包含兩個標記+1或者-1，分別對應著發開或者不發卡。
當然二元分類問題包含多種情況，如2.3節中提到過，如圖3-1所示。
圖3-1 a) 線性可分 b) 線性不可分包含噪音 c) 多項式可分
圖3-1a為線性可分（linear binary separable），如可以使用pla求解；b是包含噪音可以使用pocket求解，而c會在後面章節中詳細敘述，屬於多項式可分解。當然解決以上三種二元分類問題機器學習方法很多，因為二元分類問題是機器學習中很重要、核心的問題。
3.1.2 multiclass classification
多元分類。
有二元分類，我們就不難想到多元分類的問題，就是輸出空間的標籤分為很多的問題。這在人們的生活中非常常見，比如給水果影象分類，自動分類時什麼硬幣等等，其主要啊的應用場景就是模式識別。
3.1.3 regression
回歸分析。
這種情況的輸出空間在整個實數集上或者在乙個實數範圍內，這和前面講的分類問題完全不一樣，踏的輸出不是一種毫無意義的標記，而是有實際意義的輸出值。比如給定乙個大氣資料可以推到出明天的天氣等等之類的問題。在統計學習中包含很多這樣的問題已經研究的比較成熟。
3.1.4 structured learning
結構學習。
當然還有其他更為複雜的問題，比如很多很多態別的分類問題。
不同的資料標示。
3.2.1 supervised learning
監督學習。
知道資料的輸入的同時還知道資料的標示。就相當於告訴你題目同時還告訴你答案，讓你在這種環境下學習，稱之為監督學習或者叫有師學習，之前討論的一些演算法都是這類問題。舉個例子，硬幣分類問題，如圖3-2所示。
圖3-2 有監督的多類別分類問題
其中這幾種類別的硬幣已經被各種不同的顏色所標示好。
3.2.2 unsupervised learning
無監督學習。
這是一種沒有標示（就是沒有輸出y）的問題，就是不告訴你題目的正確答案讓你自己去尋找，再次以硬幣分類的問題來描述，如圖3-3所示。
圖3-3 無監督的多類別分類問題
這種型別的問題最常見到的是聚類或者分群（clustering），從圖中不難看出這種聚類的難度明顯加大，而且極有可能犯錯，但是這種問題卻有這廣泛的應用場景，如將新聞按照不同的主題將其聚類，按使用者的屬性將其聚成不同型別等等。
除了聚類之外還有其他的無監督學習，如密度評估（density estimation）和離群點檢測（outlier detection）等等。
3.2.3 semi-supervised learning
半監督學習。
是否能在監督式學習和無監督學習之間取乙個中庸的方法呢？答案是可以的就是半監督學習，它就是給少量有標記的訓練點和大量無標記的訓練點來做學習。還是以硬幣的例子，如圖3-4所示。這種型別的例子也有很多，比如影象的識別，很多情況下我們不可能把每種型別的都做上標記（因為做這種標記需要耗費大量的人力物力是一種昂貴的行為），此時使用半監督學習是一種不錯的選擇。
圖3-4 半監督學習
3.2.4 reinforcement learning
強化學習。
前面三個是機器學習中最傳統的三種方式，除此之外還有一種方式是通過獎勵或者懲罰乙個獲得的輸出來進行學習的，這種學習方式稱之為強化學習。
一般可以表示為(，其中向量還是為輸入向量，表示一種輸出，並不一定是最佳輸出，而最後一項是對這個輸出做出的評判。比如乙個廣告系統可以寫成如下形式(。
不同方式獲取資料。
這一章節的內容簡單闡述下就是在不同的協議中可以將機器學習分為三大類：
批量學習（
batch
）就是將很多資料一次性的給演算法進行學習，最常見的方式；
online
）就是一點一點將資料傳輸進去，如
pla和增強學習都適用於這種形式；
主動學習（
active
）主動提出問題讓演算法解決，可以節省大量的訓練和標記消耗。
不同的輸入空間。
輸入又可以稱之為特徵（features），其主要分為三種：
具體特徵（
concrete features
），具體特徵最大特點就是便於機器學習的處理。也是基礎篇了重點討論的情形。這種情況是人類或者機器通過一定的方式提取獲得的，有實用性
原始特徵（
raw features
），如的畫素等等情況，算是最長見到的資料，但是需要經過處理轉換成具體特徵才容易使用，有少量實用性。
抽象特徵（abstract features），如一些id之類的看似無意義的資料，這就更需要特徵的轉換提取等工作（相對於原始特徵而言），幾乎沒有實用性。
分類:
machine learning
標籤:
機器學習,
機器學習基石,
學習筆記,
人工智慧
機器學習基石筆記01
是非題，如何用電腦來解？給定使用者，銀行判斷是否要給他信用卡。使用者有很多個維度，年齡，薪水，工作年限，債務等，把維度綜合起來給他乙個分數，超過門限就給信用卡，否則不給信用卡，x x1,x2,x3,xd w w1,w2,w3,wd h x sign wixi 門限 sign wixi 門限 1 si...
機器學習基石筆記（三）
三 how can machines learn?第三節首先介紹了linear regression,線性可分的線性規劃是有analytic solution的，林老師給我們推了一下，關鍵就是矩陣化的處理，簡化了很多的工作 上面三幅圖是整個推導的過程，需要注意的是，最後的x不一定是可逆的，因為我們的...
機器學習基石筆記14 機器可以怎樣學得更好（2）
上節課，我們提到了過擬合是機器學習中最危險的事情。本節我們討論用 regularization 來抑制過擬合 一般課程將 regularization 翻譯為正則化，但是在 技法 中還將 regularization 用於其它抑制過擬合的手段 圖 14.1 接這上節課的例子，10 th 和 2 th...