0.監督和無監督
本質：有無標籤資料
1.自動編碼器：——只是重構原輸入
輸入-------->編碼----->中間表示（潛在表示，code）-------->解碼(重構）
通常用於：（1）、忽略雜訊 （2）、壓縮維度-----有聚類效果（可以達到pca和主成分分析效果）
2.變分自動編碼器 vae----variational autoencoders——可以生成新的樣本
假設潛在表示（latent representation 有點類似上下文向量）符合某種先驗分布（高斯分布），模型訓練完畢後，可以從這種先驗分布中取樣得到潛在變數，然後在解碼器中得到新的樣本
就是在自動編碼器的基礎上加入隨機因子。
生成原理：
變分法：一種求函式臨界的優化演算法。
多維高斯分布：由均值和協方差矩陣確定
3.生成模型和判斷模型區別
判別模型：找到乙個判別邊界，直接進行分類。不考慮樣本的生成過程。
生成模型：涉及樣本的生成過程，即哪個類別最可能生成這種樣本。
4. 聯合概率分布：就是多變數的概率分布而已，整個分布表之和為1.
條件概率分布：先在條件下確定樣本事件集合範圍，然後在這個集合內樣本發生的概率。
5.生成對抗網路
生成器的衡量指標只有乙個：最大化判別器對其判真的概率
判別器的衡量指標有兩個：最大化真實樣本判真概率，同時最大化生成樣本的判假概率。
訓練過程：生成器和判別器交替訓練
首先，在前k步，固定生成器，從生成器中取樣雜訊，和真實樣本一起訓練，迭代判別器自身的引數
再固定判別器，從先驗分布中取樣批量雜訊樣本，迭代更新生成器自身引數
5.條件生成對抗網路
給予部分監督資訊，比如輸入是一種數字如0，生成的時候也規定生成什麼類數字。
半監督生成對抗網路 生成對抗網路
一 生成對抗網路相關概念 一 生成模型在概率統計理論中，生成模型是指能夠在給定某些隱含引數的條件下，隨機生成觀測資料的模型，它給觀測值和標註資料序列指定乙個聯合概率分布。在機器學習中，生成模型可以用來直接對資料建模，也可以用來建立變數間的條件概率分布。通常可以分為兩個型別，一種是可以完全表示出資料確...
生成對抗網路
我們提出乙個框架來通過對抗方式評估生成模型，我們同時訓練兩個模型 乙個生成模型g捕捉資料分布，乙個鑑別模型d估計乙個樣本來自於訓練資料而不是g的概率。g的訓練過程是最大化d犯錯的概率。這個框架與minmax兩個玩家的遊戲相對應。在任意函式g和d的空間存在乙個唯一解，g恢復訓練資料的分布，d等於1 2...
生成對抗網路 生成對抗網路的簡單介紹
近年來，在人工智慧領域深度學習取得了令人矚目的成就，在計算機視覺 自然語言處理等各種領域都取得了突破性的進展。深度學習現今主要是依靠神經網路模型來進行學習的，可大致分為三種基礎模型，首先的就是卷積神經網路 convolutional neural networks,cnns，1998 迴圈神經網路 ...