二、問答題
所謂模式識別的問題就是用計算的方法根據樣本的特徵將樣本劃分到一定的類別中去。模式識別就是通過計算機用數學技術方法來研究模式的自動處理和判讀，把環境與客體統稱為「模式」。隨著計算機技術的發展，人類有可能研究複雜的資訊處理過程，其過程的乙個重要形式是生命體對環境及客體的識別。模式識別以影象處理與計算機視覺、語音語言資訊處理、腦網路組、類腦智慧型等為主要研究方向，研究人類模式識別的機理以及有效的計算方法。答：泛化能力又稱推廣能力，是機器學習中衡量學習機效能好壞的乙個重要指標。泛化能力主要是指經過訓練得到的學習機對未來新加入的樣本（即測試樣本）資料進行正確**的能力。
答：有監督學習又被稱為有導師學習，這種學習方式需要外界存在乙個「教師」，她可以對一組給定輸入提**有的輸出結果，學習系統可根據已知輸出與實際輸出之間的差值來調節系統引數。
答：在機器學習中，由於學習機器過於複雜，儘管保證了分類精度很高（經驗風險很小），但由於vc維太大，所以期望風險仍然很高。也就是說在某些情況下，訓練誤差最小反而可能導致對測試樣本的學習效能不佳，發生了這種情況我們稱學習機（比如神經網路）發生了過學習問題。典型的過學習是多層前向網路的bp演算法
答: 1)由於感知器的啟用函式採用的是閥值函式，輸出向量只能取0或1，所以只能用它來解決簡單的分類問題；
2)感知器僅能夠線性地將輸入向量進行分類。理論上已經證明，只要輸人向量是線性可分的，感知器在有限的時間內總能達到目標向量；
3)感知器還有另外乙個問題，當輸入向量中有乙個數比其他數都大或小得很多時，可能導致較慢的收斂速度。
答：bp演算法（即反向傳播法）的基本思想是：學習過程由訊號的正向傳播與誤差的反向傳播兩個過程組成。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師訊號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層 其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差訊號，進而修正各單元的權值（其過程，是乙個權值調整的過程）。
注2：權值調整的過程，也就是網路的學習訓練過程（學習也就是這麼的由來，權值調整）。
雖然bp演算法得到廣泛的應用，但它也存在自身的限制與不足，其主要表現在於它的訓練過程的不確定上。具體說明如下：
1）易形成區域性極小（屬貪婪演算法，區域性最優)而得不到全域性最優；
bp演算法可以使網路權值收斂到乙個解，但它並不能保證所求為誤差超平面的全域性最小解，很可能是乙個區域性極小解。
2）訓練次數多使得學習效率低下，收斂速度慢（需做大量運算）；
對於一些複雜的問題，bp演算法可能要進行幾小時甚至更長的時間的訓練。這主要是由於學習速率太小所造成的。可採用變化的學習速率或自適應的學習速率來加以改進。
3）隱節點的選取缺乏理論支援；
4）訓練時學習新樣本有遺忘舊樣本趨勢
缺陷：①易形成區域性極小而得不到全域性最優；
②訓練次數多，使得學習效率低，收斂速度慢；
③隱節點的選取缺乏理論指導；
④訓練時學習新樣本有遺忘舊樣本的趨勢。
改進方案：
1增加動量項
2自適應調節學習率
3引入陡度因子
答：支援向量機的主要思想是建立乙個最優決策超平面，使得該平面兩側距平面最近的兩類樣本之間的距離最大化，從而對分類問題提供良好的泛化能力。對於非線性可分模式分類問題，根據cover定理：將複雜的模式分類問題非線性的投射到高維特徵空間可能是線性可分的，因此只要變換是非線性的且特徵空間的維數足夠高，則原始模式空間能變換為乙個新的高維特徵空間，使得在特徵空間中模式以較高的概率為線性可分的。此時，應用支援向量機演算法在特徵空間建立分類超平面，即可解決非線性可分的模式識別問題。
機器視覺 與模式識別相關概念
hand crafted 特徵 通過設計特徵本身，仿照人類視覺的特點對什麼樣的特徵敏感，什麼樣的特徵不敏感提取影象中有區分能力的特徵，因此提取出來的特徵每一維往往都有具體的物理含義。這類特徵提取包括sift surf daisy等都是通過方向梯度度紋理特點的反應。這些特徵提取方案對某類或某幾類特徵的...
模式識別 統計模式識別（6）
上一節，我們討論了最小錯誤率分類器，接下來這一節我們將討論最小風險bayes分類器。1.問題提出 1.最小錯誤率bayes決策的最小錯誤率 概率意義上最優，在工程上是否是最優?2.錯誤分類的結果 代價或風險會是怎樣的？考慮癌細胞影象識別的例子 3.出錯的可能情況 正常細胞 1錯分為異常 2，異常細胞...
模式識別 統計模式識別（7）
上兩節我們介紹了最小錯誤率和最小風險bayes分類器，接下來談談最小最大決策。1.問題提出 假設c 2 現在我們假定一種情況，先驗概率未知或者不確定的前提，在這種前提下，絕對意義的最小風險不存在，這種情況下我們怎麼求bayes分類器。2.求解思路 雖然p 1 和p 2 未知，但我們可以假設他們確定，...