歸納(induction)是從特殊到一般的 「泛化」(generalization)過程, 即從具體的事實歸結出一般性規律; 演繹(deduction)是從一般到特殊的 「特化」(specialization)過程, 即從基礎原理推演出具體狀況. e.g.,在數學公理系統中, 基於一組公理和推理規則推導出與之相洽的定理, 是演繹; 而"從樣例中學習"是乙個歸納的過程, 因此亦稱"歸納學習"(inductive learning).
廣義的歸納學習相當於從樣例中學習, 狹義的歸納學習則要求從訓練資料中學得概念(concept), 因此亦稱為"概念學習" 或 「概念形成」.
概念學習中最基本的是布林概念學習, 即對 「是」 「不是」 這樣的可表示0/1布林值的目標概念的學習.
把學習過程看作乙個在所有假設(hypothesis)組成的空間中進行搜尋的過程, 搜尋目標是找到與訓練集 「匹配」(fit)的假設, 即能夠將訓練集中的瓜判斷正確的假設. 假設的表示一旦確定, 假設空間及其規模大小就確定了.
可以有許多策略對這個假設空間進行搜尋, 搜尋過程中可以不斷刪除與正例不一致的假設、和(或)與反例一致的假設. 最終將會獲得與訓練集一致的假設, 這就是學得的結果.
學習過程是基於有限樣本訓練集進行的, 因此可能有多個假設與訓練集一致, 即存在著乙個與訓練集一致的 「假設集合」, 稱之為 「版本空間」(version space).
周志華西瓜書筆記 第二章
2.1 經驗誤差與過擬合 錯誤率 分類錯誤的樣本佔樣本總數的比例 精度 1 錯誤率 誤差 學習器的實際 輸出與樣本的真實輸出之間的差異 訓練誤差 學習器在訓練集上的誤差 泛化誤差 在新樣本上的誤差 過擬合 過度學習樣本非主要特徵導致學習器泛化能力下降 欠擬合 未完全學習樣本的特徵 過擬合難以避免，欠...
1 周志華西瓜書筆記 緒論
學習周志華的機器學習隨筆 第一章 緒論 模型 泛指從資料中學得的結果 1.2基本術語 進行機器學習需要有資料，記錄的集合稱為資料集。記錄，是關於乙個事件或物件的描述，也稱為示例或樣本。樣本作為事物，有其屬性，屬性上的取值稱為屬性值，屬性張成的空間稱為屬性空間。訓練模型，需要有標記 label 的資料...
周志華西瓜書五 神經網路一
當我們有乙個包含許多特徵的複雜假設時，神經網路則是一種解決複雜假設問題的模型。神經元是神經網路中最基本的單位。神經元是乙個計算單元，神經元接收到來自其他神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權重的連線進行傳遞，然後通過啟用函式的計算以產生神經元的輸出。神經元 其中神經網路其實就是這些不同的神經...