神經網路技術起源與上世紀50年代。當時叫做感知機。擁有輸入層，輸出層和乙個隱含層。這種感知機被稱為單層感知機
1959， 機器學習被定義為不直接程式設計的情況下賦予計算機學習能力。
2023年哈佛大學的paul werbos發明bp演算法。bp演算法正是用來求解這種多層復合函式的所有變數的偏導數的利器。
上世紀八十年代人類發明了多層感知機（指包含多個隱含層）。在訓練演算法上使用bp演算法，多層感知機改名叫做nn（神經網路）。多層感知機（神經網路）的效果遠遠好於單層感知機。科學家們都相信層數越高，**效果越好。可惜事與願違。層數越高，在bp反向傳播梯度時，每傳遞一層，梯度衰減為原來的0.25，層數一多，梯度指數衰減後低層基本上接受不到有效的訓練訊號。這被稱為梯度消失現象。梯度消失導致神經網路容易陷入區域性最優解。導致深層的神經網路還不如淺層的神經網路的**效果。
2023年，支援向量機（svm）被提出。
2023年，機器學習更科學的被定義為如下：計算機通過處理任務t，並被p進行測量，從而產生了經驗e。如果e最終改善了任務t的結果，就成為機器在經驗e中進行了學習。
2023年，hinton利用預訓練方法緩解了區域性最優解問題，將隱含層推動到了7層。從而開啟了「深度神經網路（dnn）「的研究熱潮。注意，dnn沒有具體的定義，在不同的場景下，可以被認為「深「的層數都不相同。
我們為演算法提供了標準輸入和標準答案。然後讓讓程式對其他情況作出**。
回歸問題
梯度下降演算法（gradient descent）：初始點向周圍遍歷，檢查哪乙個方向為上述的評價函式取值最小。然後向該方向移動。
最後等待演算法收斂。出現的結果可能會有
牛頓方法
通過迭代演算法尋找位置方程的解。預估乙個解，計算解處的斜率和值，然後推測下乙個預估解。
分類問題
對於目標資料庫中存在哪些類是知道的,要做的就是將每一條記錄分別屬於哪一類標記出來。與此相似但又不同的是,聚類是在預先不知道目標資料庫到底有多少類的情況下,希望將所有的記錄組成不同的類或者說「聚類」。常用logistics回歸演算法（判別學習演算法）。
生成學習演算法：對不同的型別進行建模，然後對輸入的新資料進行分析，分析他更符合哪一類。例如高斯判別分析。假設兩個類別的分布都屬於高斯分布，然後擬合出各自高斯分布的引數，利用該模型分析新資料究竟屬於哪乙個集
樸素貝葉斯演算法
最廣泛應用的兩種分類演算法是樸素貝葉斯模型和決策樹模型。樸素貝葉斯模型是基於貝葉斯定理的。資料樣本有幾個屬性。根據每個屬性對分類的影響進行判定。（每個屬性對於每個類別的條件概率）
支援向量機演算法（svm）
一些學者認為支援向量機演算法是最好的機器學習演算法。也可以用來產生非線性分類器。
神經網路演算法
支援向量機之前最好的機器學習演算法 相對複雜。輸入層–>隱藏層（可以有多個）–>輸出層，可以用來產生非線性分類器
不會提供任何標準答案。而是讓演算法自動尋找輸入的相關性。最常見的用法是發現隱藏資料下面 的相關性。
聚類問題
聚類問題可以自動判定中畫素進行分組，這對計算機視覺研究很有用。比如用於將進行分塊，然後依據這個結果去重構3d視覺。還有社會網路分析等。
雞尾酒會問題
在嘈雜的背景噪音中將所需要的人的聲音提取出來。
ica matlab svd（（repmat）
長時間最連續決策
回報函式：類似區訓練乙隻狗。只需要告訴機器做的決定是會得到獎勵還是會得到懲罰。常用於對無人車的訓練。這樣就可以不用寫一些非常複雜的控制程式了。
欠擬合：所擬合出的規律明顯不符合資料集
過擬合：所擬合出的規律雖然符合資料集，但是明顯不符合常識，只是體現了資料集中的巧合
bp演算法：
損失函式可以表示為如下
其梯度向量為：
複習下鏈式求導法則：
好的，那我們就可以依據該法則計算梯度向量了。
在這樣的計算中，就產生許多冗餘路徑，比如說上圖中z對u的偏導數被計算了兩次。bp演算法就是用於簡化這種計算冗餘的
機器學習1 基本概念
1.機器學習定義 機器學習 arthur samuel，1959 在確定程式設計之外給予計算機學習能力的研究領域。機器學習 tom mitchell，1998 如果電腦程式對於任務t的效能度量p通過經驗e得到了提高，則認為此程式對e進行了學習。2.機器學習四個主要內容 監督學習 包括回歸 連續性問題...
機器學習1 基本概念
參考 資料集 色澤 青綠 根蒂 蜷縮 敲聲 濁響 色澤 墨綠 根蒂 稍蜷 敲聲 沉悶 色澤 淺白 根蒂 硬挺 敲聲 清脆 基本概念 1 樣本 這批資料裡的每對括號。2 資料集 樣本的集合。3 特徵 屬性 色澤 根蒂 敲聲等反映事物的本質的可觀察方面。4 屬性值 青旅 墨綠 蜷縮 濁響等，是屬性的取值...
機器學習基本概念（1）
機器學習是研究如何通過計算的手段，利用經驗來改進系統的效能，而經驗往往是指資料。機器學習本質上是一種複雜的演算法，它通過在大量的資料中挖掘隱含的資訊，從而達到 輸出和分類的目的。通過學習得到的模型，很好的適用於新的樣本，這種能力也叫泛化能力。資料集 n條記錄的集合 示例 樣本 特徵向量 每條記錄關於...