誤差建模的目標，是從資料中自動學習適用於問題的誤差函式形式。其自然的實現方法，是將資料噪音分布建模為具有更靈活變化形式的某種含參變數分布，即 e~p(e,θ)；然後基於資料合理估計引數 θ 的最優取值 θ，從而獲得對應誤差函式的形式 l θ 。
然而，問題的難度在於，θ 的估計需要資料的噪音資訊 e( 使用最大似然估計 mle 或最大後驗估計 map 方法 )；e 的獲取又需得到模型引數 w 的取值 (e=d-f(w))；w 的獲取又需要通過最優誤差函式l θ 確定後對模型 (1) 進行求解獲得；而該誤差函式的形式又需要通過最優的噪音分布引數 θ 來確定。以上所述恰好形成了乙個求解機器學習問題的迭代優化演算法，演算法框架如圖 3 所示。其更新模型引數w 的步驟，對應於在當前誤差函式下調整模型引數的過程；其更新噪音引數 θ 的步驟，對應於在當前模型引數下矯正誤差函式的過程。這一演算法框架，構成了誤差建模原理的基本實現格式。
在誤差建模的實現框架中，首先需要考慮的問題，是如何設計噪音分布 p(e,θ) 的形式。對這一問題最自然的選擇，應該是混合高斯分布 (mixture ofgaussian, mog)。一方面，是由於 mog 分布已被證明其對任意連續分布具有萬有逼近性[14] ；另一方面，其誘導的範數形式均為 l 2 ，因此，相應的優化問題相對易於計算。我們稱對應的誤差建模方法為 mog誤差建模[15-16] 。具體來說，該方法假設噪音服從mog 分布，即
其中， 表示以 0 為均值、 為方差的高斯分布； 為噪音混合比例； 為第 k 成分噪音方差。通過將該誤差假設誤差建模方法，可獲得每步的誤差函式形式為
式中， 為 hadamard 乘積，代表了前後兩項對應元素直接相乘的運算，h 與 d 大小一致，其第 i 個元素取值為
式中 γ ik 代表了第 i 個樣本隸屬於第 k 個類的隸屬度。這一誤差函式說明，當樣本屬於誤差方差較大的 mog 成分時 ( 更可能為異常點 )，該權值較小；而反之，該權值較大。因此，該誤差函式具有抑制異常點，強化有效資料資訊的作用。事實上，之前存在一些方法通過人工設定的方式來通過類似的誤差加權策略增強機器學習的魯棒性能，而 mog 噪音建模可通過自適應調整的方式實現這一目標，對實際問題來說，操作更加簡便易行。
但是，對於有限成分的 mog 誤差建模，其擬合能力依然是非常有限的。如當噪音分布為拉普拉斯時，理論上需要無窮多個高斯成分方能對其進行準確擬合。因此為了增強誤差建模方法對於更廣泛噪音的擬合性，可將噪音分布進一步強化建模為混合指數族分布 (mixture of exponential power,moep)，如下所示：
該方法又可稱為 moep 誤差建模方法[17-18] 。顯然，當預先給定多種 l p k 分布作為噪音成分，相比 mog誤差建模方法，該模型對噪音具有更強的擬合能力。特別的，幾乎所有目前使用的誤差函式形式，包括l 2 誤差、l 1 誤差、l 2 +l 1 誤差、混合高斯誤差、混合拉普拉斯誤差等，均可歸納為 moep 誤差建模的特殊形式。
易觀察到，以上的誤差建模方法擴充套件了傳統機器學習方法中固定誤差函式的基本模式，將誤差函式嵌入到機器學習的過程之中，基於資料誘導能夠真實反映其內在噪音形態的誤差函式形式。因此，誤差建模的演算法應該具有更廣泛的適用範圍，能夠適用於被更複雜多變形態噪音干擾的資料，能夠在更弱的條件下保證機器學習的魯棒性能。然而，乙個本質的問題是，正如我們不期待用過度複雜的形式對確定性資訊進行建模一樣，對隨機性噪音資訊進行過度建模同樣可能會帶來演算法效能的退化。
特別的，如之前所述，當我們將學習目標結構設計的過度複雜時，最終獲得的 f(w) 便會「吃進」噪音，從而導致過擬合問題；同樣的，當我們將隨機性噪音 e 建模的過度複雜，其也會「吃掉」資料的確定性資訊成分，從而導致錯誤的學習目標輸出。換句話說，當過度建模時，無論對於確定性資訊，還是隨機性資訊的建模，過擬合問題均是存在的。
因此，對於**於現實世界的資料，奧卡姆剃刀這一基本原則，可能對其本質蘊含的確定性資訊與隨機性資訊是同時適用的。一方面，我們預期的學習目標往往具有形式簡潔、結構整齊、重複出現的確定性模式；而另一方面，其內在的隨機性噪音分布，往往可用由少量引數構成的隨機分布來較為合理的刻畫。通過對兩種資訊共同的「簡化」編碼，也許能夠更為全面地體現「如無必要，勿增實體」這一機器學習的基本原則。
因此，有必要拿起奧卡姆這把剃刀，在誤差建模方法中把噪音也來修剪一番。
《中國人工智慧學會通訊》 2 24 結 果
我們將人類 bpl 以及其他模型在 5 個概念學習任務上的結果並列進行對比，檢驗僅從乙個或一些樣例得到的不同形式的泛化 見圖 5 的樣例任務 所有的行為實驗都是通過亞馬遜土耳其機械人 mechanical turk 進行的，實驗的詳細流程請參考 s5 章節。主要實驗結果總結在圖 6 中，額外的殘缺分...
《中國人工智慧學會通訊》 3 28 討 論
近年來，各種型別的 機械人層出不窮，人機互動控制策略對於 機械人實現臨床應用意義重大。通過上文的回顧分析，可以看出，現有人機互動控制依然存在如下問題。目前還不存在一種通用的人機互動控制策略。針對患者損傷部位及損傷程度採用合適的控制策略是常規的方案，但正如前文所述，現有 機械人系統的互動控制系統通常缺...
《中國人工智慧學會通訊》 1 32 詞嵌入
在此基礎上，也有研究者關注如何利用已有的知識庫來改進詞嵌入模型。wang 等人 5 結合知識圖譜和未標註語料在同一語義空間中來聯合學習知識和詞的向量表示，這樣可以更有效地實體詞的嵌入。rothe等人 6 直接利用 wordnet 知識庫的詞和語義集的關係來學習詞嵌入，能更好地利用已有的知識庫。該 獲...