通俗的來說，這個定理可以推出乙個兩層的全連線神經網路，就可以做一切神經網路可以做的事情了。
當然，定理的具體表達和嚴格證明都涉及到不少泛函的東西，因此這裡不做嚴格證明，但筆者整理了一下各處的思路，可以用如下方法去考慮：
總得來說，想解決的問題有三類：布林表示式判斷，分類，和擬合函式。
對於布林表示式判斷，就是有多個布林輸入，最後判斷對還是錯。學過數字邏輯就可以知道，任何的邏輯表示式都可以化為標準與或式，如下圖所示。然而單層的神經元是可以模擬多個表示式的與和多個表示式的，所以這張圖的與門和或門就可以看成是神經元，從而兩層神經網路就可以解決一切判斷類問題。(當然，多層的電路可以更省資源，這也是後面模組化的例子)
而對於多維的分類問題，我們可以知道乙個神經元可以表示任意乙個超平面。我們可以用二維情況來舉例，由於分類是對離散的點去分類，因此邊界一定可以由一條條直線組合而成，因此只要有足夠多的直線，最後再用乙個神經元來判斷這些是取這些線的上半部分還是下半部分即可，而也同理；因此也是二層神經網路就可以了。
而對於擬合函式而言就要利用積分的思想。一元函式我們可以用兩個處在同層的神經元模擬乙個脈衝，或者說是乙個小長方形，從而我們利用積分的思想，第一層構建出各種各樣的小長方形，第二層使用簡單的加法，將所有的小長方形累加起來，即可逼近一切函式。對於多元函式也是同理的，只是要用更多的處在同層的神經元去模擬高維脈衝，僅此而已。
這裡老師主要是舉了語音識別和影象識別的例子。
首先是沒有用深層神經網路，只是採用了傳統的機器學習演算法或單層感知機分類+傳統的嚴謹演算法的情況，總之就是步驟很多，利用到很多專業知識。
上圖是傳統的語音識別模型，只有最後一步使用了gmm(高斯混合模型，一種聚類方式)。
上圖是傳統的影象識別模型，也是只有最後一步使用了簡單分類器。不過在後面我們其實可以看出傳統方式的思維其實對卷積神經網路有著深遠的影響。
然而，現在的深度神經網路可以做到，忽視掉這些所謂的所有這些步驟，轉換成一整個黑盒神經網路，直接就是從輸入端進入，輸出端得到結果，直接進行端到端的學習，例如影象識別就如下圖所示。當然，至於到底每層做了什麼，為什麼做成這樣，沒人可以說出原理，但是結果就是這樣做不需要專業知識，效果可以幾乎一樣好甚至可以更好。
李巨集毅機器學習 學習筆記
function set就是model 機器學習3大步驟 1.定義模型 function 集合 2.指定模型 function 好壞的評價指標 3.通過演算法選擇到最佳的模型 function alphago下棋模型抽象為棋局向下一步的分類問題 減少擁有label的data用量的方法 1.semi ...
李巨集毅機器學習 Introduction
人工智慧是我們想要達到的目標，即讓機器和人一樣智慧型。而機器學習是方法，讓機器從資料中學習，從而得到智慧型的方法。智慧型是什麼呢？對於人類智慧型而言，根據霍華德 加德納的多元智慧型理論，人類的智慧型分為以下七種智慧型 這不僅涵蓋了現在人工智慧的研究領域，計算機視覺 語音識別 自然語言處理等。而且也指...
李巨集毅機器學習課程筆記 1
機器學習 自動找函式 f input output 1.regression 輸出是乙個數值 2.classification 分類 二分類 多分類 rnn 迴圈神經網路 cnn 卷積神經網路translation 繪二次元圖4.supervised learning 監督學習labeled dat...