談到人工智慧、深度學習，相信目前 it 網際網路領域的從業者應該都是耳熟能詳的。但是大家都知道，其實人工智慧早已出現為什麼等到本世紀初再一次大火起來呢？人工智慧、深度學習以及機器學習之間的關係到底又是什麼樣的呢？
首先，為什麼最近幾年人工智慧概念再次火爆？原因主要有以下幾個方面：
接下來回答第二個問題：人工智慧、機器學習以及深度學習是什麼樣的關係？
圖1 機器學習在人工智慧中的地位
從上面的圖中我們可以知道：人工智慧的領域範圍最廣，深度學習領域最窄。也就是說，機器學習是人工智慧的子領域，而深度學習又是機器學習的乙個分支！因此我們可以看出機器學習在 ai 領域的重要地位了。
既然目前深度學習那麼火，那麼為什麼還要學習機器學習而不是直接學習深度學習呢？我相信很多初學者應該都會有這方面的疑惑或者思維誤區。正所謂「基礎不牢，地動山搖」講得就是這個道理，如果只是看看深度學習的效果，我相信只要你會 python，從市面上買一本 tensorflow 相關的實戰書本就能夠跑出乙個實驗，體會出深度學習的強大效果和能力。但是這不叫懂深度學習，甚至可以說沒有入門。因為機器學習演算法的奧妙在於演算法優化和調優，因此不懂得它背後的原理，遇到新問題你是沒法做得出好的效果的。而且書本上的資料集一般是公開資料集，演算法的最優引數早已給出，不需要你去通過理論或者實踐去探索。但是現實工作中遇到的問題往往都是新的問題，大家都沒遇到過的，這時候就需要你對演算法又很深入的理解才能做出來了。
序言中我們講到了為什麼要從機器學習開始學習。本節開始我們就應該從基本概念入手，介紹一下機器學習的基本概念，為將來學習具體的機器學習演算法打好基礎。
機器學習的特點主要歸納為以下幾點：
機器學習演算法以資料和特徵為基礎，是資料驅動的科學；
機器學習的目標是對資料進行**與分析；
機器學習以模型方法為中心，並利用統計學習的方法構建模型，並且利用構建好的模型對未知的資料進行**和分類；
機器學習是以概率論、統計學、資訊理論、計算理論、最優化以及電腦科學等多領域交叉的學科，因此要想在機器學習上有所成績，必須要有深厚的數學基礎。
嚴格意義上的機器學習演算法應該分為四大類：有監督學習、無監督學習、半監督學習、強化學習。
李航老師在《統計學習方法》中將機器學習的三要素總結為：模型、策略和演算法。其大致含義如下：
李航老師的總結非常好，但是我個人認為應該再新增乙個應該就更加完善了，那就是：特徵。因為機器學習界流行的一句話：資料和特徵決定了機器學習演算法的上界，而模型和演算法只是逼近這個上界而已。這句話也充分說明了乙個事實：無論你的機器學習演算法模型的識別效果多麼準確，如果沒有好的特徵的話，也等於白搭。換句話說，資料和特徵確定了以後，演算法最好能做到怎麼樣基本上已經確定了。此時好與壞演算法的差別可能就在於誰更接近基於這個資料和特徵的效果上限。
因此，我對機器學習演算法要素總結為：特徵、模型、策略和演算法。
假設輸入特徵變數記為 x，輸出變數記為 y，他們對應的具體取值分別記為 x 和 y，輸入變數 x 可以是標量也可以是向量。本系列課程中除非特殊宣告，否則特徵向量都是列向量，因此輸入例項 x 的列向量可以表示為：
在《模型的求解》小節中，我們求解模型函式 f(x)的過程使用的原則是經驗風險最小化（empirical risk minimization erm）。實際上在真正的常見演算法的實現過程中卻使用的是另一種原則，結構風險最小化（structral risk minimization srm）。
其中 f是假設空間。統計學中的極大似然估計（maximum likelihood estimation mle）就是經驗風險最小化的乙個典型的例子。當模型是條件概率分布，損失函式是對數損失函式時，經驗風險最小化與極大似然估計等價（參與文末參考文獻[1]）。雖然在樣本數量足夠大的情況下，經驗風險最小化求解出來的模型能夠取得不錯的**效果，但是當訓練資料集也就是樣本容量比較小時，基於經驗風險最小化訓練出來的模型往往容易過擬合。
[1] 李航. 統計學習方法[m]. 清華大學出版社, 2012. [2] 周志華. 機器學習 : = machine learning[m]. 清華大學出版社, 2016.
機器學習基礎知識
machine learning的主要兩個應用方面 人工智慧 資料科學。什麼是人工智慧 artificial intelligence ai是不確定性管理 uncertainty management 的體現 ai what to do when you don t know what to do ...
機器學習基礎知識
機器學習基礎知識 1 誤差 學習器實際 輸出與樣本的真實輸出之間的差異稱為 誤差 有經驗誤差 也成訓練誤差 和泛化誤差。我們實際需要的是泛化誤差較小的學習器。2 過擬合與欠擬合 過擬合 學習能力太過強大，把訓練樣本中的特殊特性當作一般特性導致泛化效能下降。欠擬合 學習能力低下，不能很好的 輸出。3 ...
機器學習基礎知識
為了解決任務t,設計一段程式,從經驗e中學習,達到效能度量值p,當且僅當有了經驗e後,經過p評判,程式在處理t時的效能得到提公升1.特徵表示 2.選擇模型 3.訓練模型 4.模型評估 1.模型 2.策略 3.演算法 1.有監督學習 1.1 分類 樣本標籤屬於離散變數 判別模型 1.2 回歸 樣本標籤...