一直以為機器學習的重點在於設計精巧、神秘的演算法來模擬人類解決問題。學了這門課程才明白如何根據實際問題優化、調整模型更為重要。事實上，機器學習所使用的核心演算法幾十年來都沒變過。
什麼是機器學習呢？以二類分類監督學習為例，假設我們已經有了一堆訓練資料，每個訓練樣本可以看作n維空間裡的乙個點，那麼機器學習的目標就是利用統計演算法算出乙個將這個n維空間分成兩個部分（也就是把空間切成兩半）的分介面，使得相同類別的訓練資料在同乙個部分裡（在分介面的同側）。而所用的統計演算法無非是數學最優化理論的那些演算法，梯度下降法等等。
在機器學習的模型中，神經網路是乙個比較特殊的模型。因為它比較萬能。萬能二字可不是隨便說說的，有定理為證，萬能近似定理說，當神經網路的隱藏單元足夠多，它就能逼近任意函式。也就是說，只要提供的訓練資料量充足，就一定能用乙個隱藏單元夠多的神經網路去擬合這些訓練資料。然而神經網路也有乙個很嚴重的缺點：收斂速度太慢。這一缺點導致很長時間以來神經網路基本上都只能當作理論的標桿而很少被應用於實際問題。
近年來神經網路的興起得益於三點：1. 演算法進展；2. 大資料；3. 硬體提公升。這三點使得神經網路（特別是深層網路）的訓練速度大幅度提公升。前面有說到，模型優化調整過程對於模型的建立至關重要。使用機器學習解決實際問題是乙個持續迭代探索優化的過程，需要不斷地試錯。就好比在走迷宮，你不可能一開始就知道正確的路線在哪，只能加快步伐，盡可能快，盡可能早地走過每一條死路，並祈禱出口是存在著的。優化調整需要反覆地訓練模型，觀察結果。在以前，一次訓練可能耗時幾個月甚至幾年，這種情況下進行迭代調優的時間成本是不可接受的。而現在一次迭代可能只需要很短的一段時間，同時併發技術也使得同時訓練不同引數的模型的方案變得可行。快速迭代，優化調整，使神經網路能夠越來越多的應用於各種實際問題。
吳恩達的課程數學上是比較基礎的。課程前面部分講解了神經網路相關的主要演算法，後面則側重於講工程上如何使用各種策略來調整優化模型使之能夠快速地擬合實際問題。下圖是對這門課主要知識點的總結。放在這兒以後回頭溫習用。
吳恩達深度學習課程筆記
一直以為機器學習的重點在於設計精巧 神秘的演算法來模擬人類解決問題。學了這門課程才明白如何根據實際問題優化 調整模型更為重要。事實上，機器學習所使用的核心演算法幾十年來都沒變過。什麼是機器學習呢？以二類分類監督學習為例，假設我們已經有了一堆訓練資料，每個訓練樣本可以看作n維空間裡的乙個點，那麼機器學...
總結 吳恩達深度學習
從去年8月份開始，ai界大ip吳恩達在coursera上開設了由5們課組成的深度學習專項課程，掀起了一股人工智慧深度學習熱潮。這裡附上deeplearning.ai的官網 deeplearning.ai，也可以在網易雲課堂學習 有中文字幕 關於該深度學習專項課程，本人非常推薦！它對於理解各種演算法背...
吳恩達深度學習課程筆記 11
目標檢測 detection 其實是乙個非常困難的問題，一幅待檢測中可能包含許多目標，這些目標的類別多種多樣，同一類別的目標數目可能也不唯一。可以從乙個簡化的問題去入手，那就是分類定位 classification with location 這個問題只在影象分類任務上更進一步，不僅要分類，還要框出...