學習的定義：對於某類任務t和效能度量p,如果乙個電腦程式在t上以p衡量的效能隨著經驗e而自我完善，那麼我們稱這個電腦程式在從經驗e中學習。
設計乙個學習系統
選取訓練經驗的型別，關鍵屬性是訓練經驗能否為系統的決策提供直接或間接的反饋
學習器可以在多大的程度上控制訓練樣例序列：
訓練樣例的分布能多好地表示例項分布，最終系統的效能p是通過後者來衡量的。
例子: 西洋跳棋學習問題：
西洋跳棋學習問題：
為了完成這個任務，需要選擇：
選擇目標函式
選擇目標函式的表示
西洋跳棋程式的部分設計
• 任務 t:下西洋跳棋
• 效能標準 p:世界錦標賽上擊敗對手的百分比
• 訓練經驗 e:和自己進行訓練對弈
• 目標函式:\(v:b→r\)
• 目標函式的表示：示:\(\hat(b)=w_0+w_1x_1+w_2x_2+w_3x_3+w_4x_4+w_5x_5+w_6x_6\)
前三條是對學習任務的說明,後兩條制定了為實現這個學習程式的設計方案。注意這個 設計的關鍵作用是把學習西洋跳棋戰略的問題簡化為學習目標函式描述中係數 w0 到 w6 值的 問題。
選擇函式逼近演算法
權值調整
最佳擬合(best fit)訓練資料的含義。一種常用的方法是把最佳的假設(或權向量集 合)定義為使訓練值和假設\(\hat\) **出的值間的誤差平方 e 最小。
\(e≡ \sum_\limits(v_(b)−v(b))^2 \)
這裡需要乙個演算法, 它可以在有了新的訓練樣例時進一步改進權值,並且它對估計的訓練資料中的差錯有好的健 壯性。乙個這樣的演算法被稱作最小均方法(least mean squares),或叫 lms 訓練法則。
lms 權值更新法則 對於每乙個訓練樣例
• 使用當前的權計算vˆ (b)
• 對每乙個權值 wi 進行如下更新
\( w_i←w_i+η(v_(b)-\hat(b)) x_i\)
最終的設計
鑑定器(critic)
泛化器(generalizer)
實驗生成器(experiment generator)
機器學習的一些觀點和問題
在機器學習方面,乙個有效的觀點是機器學習問題經常歸結於搜尋問題,即對非常大 的 假設空間進行搜尋,以確定最佳擬合觀察到的資料和學習器已有知識的假設。
本書的很多章節給出了對一些基本表示(例如,線性函式、邏輯描述、決策樹、人工神 經元網路)定義的假設空間的搜尋演算法。這些不同的假設表示法適合於學習不同的目標函式。 對於其中的每一種假設表示法,對應的學習演算法發揮不同內在結構的優勢來組織對假設空間 的搜尋。
自始至終,本書都貫穿著這種把學習問題視為搜尋問題的看法,從而通過搜尋策略和學 習器探索的搜尋空間的內在結構來刻畫學習方法。我們也會發現,這種觀點對於形式化地分 析要搜尋的假設空間的大小、可利用的訓練樣例的數量以及乙個與訓練資料一致的假設能泛 化到未見例項的置信度這三者之間的關係非常有用
機器學習之 緒論部分
緒論部分內容主要包含機器學習發展歷程的簡介，機器學習的大致介紹，以及專業術語的介紹。雖然並無具體的演算法介紹，但是對於正本書的理解大有幫助。1.機器學習的發展歷程 現如今比較承認的機器學習 machine learning 的定義是 不顯示程式設計地賦予計算機能力的研究領域 薩繆爾 關於機器學習的分...
機器學習筆記之緒論
1.1引言 機器學習所研究的主要內容，是關於在計算機上從資料中產生 模型 model 的演算法，即 學習演算法 learning algorithm 1.2基本術語 資料集 data set 其中每條記錄是關於乙個事件或物件的描述，稱為乙個 示例 instance 或 樣本 sample 特徵向量 ...
機器學習入門之緒論
要進行機器學習，先要有資料，假定我們收集了一批關於西瓜的資料，例如 色澤 淺白 根蒂 蜷縮 敲聲 濁響 色澤 烏黑 根蒂 硬挺 敲聲 清脆 每對括號內是一條記錄，的意思是 取值為 這組記錄的集合稱為乙個資料集 data set 其中每條記錄是關於乙個事件或物件 這裡是乙個西瓜的描述 稱為乙個 示例 ...