我們知道歸納和演繹是科學推理的兩大基本手段，前者是從特殊到一般的泛化過程，也就是從具體的事實歸結出一般性規律；後者則是從一般到特殊的特化過程，從基礎原理推演到具體情況，例如在數學公理系統中，基於一組公理或推理規則推導出與之相恰的定理，這是演繹；而「從樣例中學習」顯然是個歸納的過程，因此亦成為「歸納學習」。
歸納學習這裡就不做多說，我們來看下概念學習。
概念學習中最基本的是布林概念學習，即對是與不是這樣的可表示0或1布林值的目標概念的學習，舉個例子，還是我們之前提到的餅乾的例子：
編號色澤
口感品牌
1金黃色
香脆松鼠2白色
清香德芙3黑色
沉悶其他
這裡要學習的目標就是「好餅乾」，我們暫且假設好餅乾可由色澤、口感、品牌三個因素完全確定，換言之，只要某個餅乾的這三個屬性明確了，我們就能判斷出它是不是好餅乾。於是我們學得的就是「餅乾是由某種色澤、口感、品牌決定的」這樣的概念，用布林表示式寫出來就是
好餅乾<–>（色澤=？）^(口感=？) ^（品牌=？）
（ps：這裡的「？」表示尚未確定下來的取值，而我們的任務就是通過對這個表的訓練集進行學習，把？確定下來）
我相信大家可以發現。表中的第一行：（色澤=金黃色）^(口感=清脆) ^（品牌=松鼠）不就是好餅乾嗎？（這裡說的品牌為松鼠只是為了方便大家認識，並不是真的認為這是好品牌）。這是乙個已經見過的好餅乾，別忘了我們學習的目的是「泛化」，即通過對訓練集中餅乾的學習已獲得對沒見過的餅乾進行判斷能力，而不是簡單的直接確定。
所以這個學習過程可以看做乙個在所有假設組成的空間中進行搜尋的過程，搜尋目標就是找到與訓練集匹配的假設，既能夠將訓練集中的餅乾判斷正確的過程。
後續文章還會陸續發布，敬請期待。
機器學習筆記（二）假設空間
歸納是從特殊到一般的泛化過程，即從事實歸結出一般性規律。演繹是從一般到特殊的特化過程，即基礎原理推演出具體狀況。從樣例中學習是乙個歸納過程，亦稱為歸納學習。歸納學習有廣義與狹義之分，廣義的歸納學習相當於從樣例中學習，狹義的歸納學習要從訓練資料中學得概念，因此稱為概念學習或概念形成。概念學習中最基本的...
學習筆記 003
陣列名 下標表示式 陣列名 整數 如 a 0 a i a 2 i 1 a a i a 2 i 1 指標可以視為乙個普通變數，通常所說的定義乙個指標實際上是宣告乙個指標變數 宣告乙個指標變數時，需要向編譯器提供 指標的型別，原則上指標型別應與其指向的資料型別一致 指標變數名 宣告乙個指向int型資料的...
機器學習（周志華版）學習筆記（二）假設空間
科學推理的兩大手段 歸納 從特殊到一般的泛化過程。泛化 從樣本中學習訓練出不在樣本中的資料集的共同特徵 使其適用於整個樣本空間。演繹 從一般到特殊的特化過程。特化 與泛化相反 整體樣本的共同特徵推演出具體特徵。例子理解 編號色澤 根蒂敲聲好瓜1 青綠蜷縮濁響是 2烏黑蜷縮濁響是3 青綠硬挺清脆否 4...