引言
從第一代的深度前饋神經網路開始，隨之而來的就有如下三個問題：
1）可用訓練資料量遠小於模型中的參數量，容易出現過（欠）擬合現象；
2）隨著層級的增加，模型的優化目標函式呈現高度非凸性，由於待優化引數所在的可行域中存在著大量的鞍點和區域性極小值點，所以引數初始化策略影響著網路模型的穩定性和收斂性；
3）基於誤差的反向傳播演算法越靠近輸出層變化越大，越靠近輸入層變化越小，這對通過梯度下降方式來實現逐層引數更新會導致梯度瀰散現象。
1.1 數學基礎
1.1.1 矩陣論
1.1.2 概率論
1.1.3 優化分析
1.1.4 框架分析
1.2 稀疏表示
1.2.1 稀疏表示初步
1.2.2 稀疏模型
1.2.3 稀疏認識學習、計算與識別的正規化
1.3 機器學習與神經網路
1.3.1 機器學習
1.3.2 神經網路
第1章 深度學習簡介
說明 本文是對邱錫鵬 神經網路與深度學習 的讀書筆記。供自己學習總結使用。神經元網路是在計算機上把虛擬的神經元排列成層狀，模擬真正的神 經細胞之間的電訊號。藉此實現大腦從各式各樣的資料中提取本質概 念的功能。深度學習是由在計算機上模擬人類神經迴路的 神經元網路 技術發 展而來。所謂 深度 是指網路層...
第1章 什麼是深度學習
努力將通過由人類完成的智力任務 機器學習系統是訓練出來的。需要三個要素來進行機器學習 機器學習和深度學習的核心問題在於有意義地變換資料，換句話說，在於學習輸入資料的有用表示 這種表示可以讓資料更接近預期輸出。機器學習中的學習指的是，尋找更好資料表示的自動搜尋過程。機器學習 在預先定義好的可能性空間中...
動手學深度學習筆記（1）
機器學習，神經網路是很多領域共同發展的成果。時至今日，絕大多數神經網路都包含以下的核心原則 深度學習從發現到發展，仍能屹立的部分原因 在機器學習的眾多研究方向中，表徵學習關注如何自動找出表示資料的合適方式，以便更好地將輸入變換為正確的輸出。深度學習是具有多級表示的表徵學習方法。在每一級 從原始資料開...