本篇針對以下幾個問題進行總結：
01.了解機器學習的基本概念，能說清楚幾個和空間相關的概念。從該角度解釋機器學習的實質。
02.經驗風險和結構風險有何不同？
03.為什麼要引入正則項？和經驗風險、結構風險有何關係？
04.說明損失函式的意義。並列出幾個常見的損失函式，說明其異同。並去了解常見的演算法分別選用了什麼損失函式？
現解答如下：
首先，和空間相關的概念有：輸入空間（將輸入的所有可能取值的集合稱作輸入空間）、輸出空間（將輸出的所有可能取值的集合稱作輸出空間）、特徵空間（將特徵向量存在的空間稱作特徵空間）、假設空間（假設空間指的是問題所有假設組成的空間，它是由輸入空間到輸出空間的對映的集合，我們可以把學習過程看作是在假設空間中搜尋的過程，搜尋目標是尋找與訓練集「匹配」的假設）。而機器學習的實質其實就是乙個最優化問題，也就是通過某種演算法策略從假設空間中尋找模型引數，從而使得損失函式最小，找出模型的最優解。
問題二：經驗風險和結構風險有何不同？
經驗風險：損失函式度量了單個樣本的**結果，要想衡量整個訓練集的**值和真實值的差異，將整個訓練集的所有記錄均進行一次**，求取損失函式，將所有值累加，即為經驗風險
結構風險：在經驗風險的基礎上，增加乙個正則化項或者叫做懲罰項，公式為：rsrm(f)=(1/n)σn
i=1l(y , f(x)) + λj(f)，其中λ為乙個大於0的係數，j(f)表示模型f(x)的複雜度。
不同：1）經驗風險越小，模型決策函式越複雜，其包含的引數越多
2）當經驗風險函式小到一定程度就出現了過擬合現象
3）防止過擬合現象的方式，就要降低決策函式的複雜度，讓懲罰項j(f)最小化
4）需要同時保證經驗風險函式和模型決策函式的複雜度都達到最小化
5）把兩個式子融合成乙個式子得到結構風險函式然後對這個結構風險函式進行最小化
問題三：為什麼要引入正則項？和經驗風險、結構風險有何關係？
正則化項主要是在降低經驗風險的同時能夠降低最小化訓練誤差的過擬合風險。正則化項+經驗風險 = 結構風險
問題四：說明損失函式的意義。並列出幾個常見的損失函式，說明其異同。並去了解常見的演算法分別選用了什麼損失函式？
損失函式是用來衡量**結果和真實結果之間的差距的函式，其值越小，說明**結果和真實結果越一致。通常它是乙個非負實值函式。通過各種方式縮小損失函式的過程就叫做優化。
常見的損失函式如下：
1）0-1損失函式：**值和真實值之間的差距小於t為0，否則為1（其中t可以自定義）
2）絕對值損失函式：**結果與真實結果的絕對值
3）平方損失函式：**結果與真實結果差的平方
4）對數損失函式/對數似然損失函式：對數函式具有單調性，在求最優化問題時，結果與原始目標一致。可將乘法轉化為加法，簡化計算
5）指數損失函式：具有單調性、非負性的優良性質，使得越接近正確結果誤差越小
6）折葉損失函式：也稱鉸鏈損失，對於判定邊界附近的點的懲罰力度較高
相同：各損失函式多事非負的，其原因在於，若存在負數，則會和一部分正的數值抵消掉，影響最終結果。不同：平方函式對於大誤差的懲罰大於小誤差，且數學計算簡單、友好，導數為一次函式；0-1損失函式適用於理想狀況模型，而對數適合於邏輯回歸交叉熵
常見的利用損失函式的演算法：神經網路（上述損失函式均有使用），svm（常使用折葉損失函式），交叉熵、邏輯回歸（常使用對數損失函式），線性回歸（常使用平方損失函式）
機器學習演算法（一）基礎知識
基礎知識 需要準備知識 第一層 通過演算法學習了解基本原理 第二層 數學方面的推導 第三層 會用語言或者工具包解決問題，掌握一門語言，實現演算法原型 第四層 會優化演算法 綱要 機器學習的幾個基本概念 機器學習的實質 在輸入空間到輸出空間中的各種假設形成的假設空間中，去搜尋乙個假設，這個假設對當前資...
一 機器學習基礎知識
談到人工智慧 深度學習，相信目前 it 網際網路領域的從業者應該都是耳熟能詳的。但是大家都知道，其實人工智慧早已出現為什麼等到本世紀初再一次大火起來呢？人工智慧 深度學習以及機器學習之間的關係到底又是什麼樣的呢？首先，為什麼最近幾年人工智慧概念再次火爆？原因主要有以下幾個方面 接下來回答第二個問題 ...
機器學習基礎知識
machine learning的主要兩個應用方面 人工智慧 資料科學。什麼是人工智慧 artificial intelligence ai是不確定性管理 uncertainty management 的體現 ai what to do when you don t know what to do ...