**的損失函式表示式
lsgans的英文全稱是least squares gans。這篇文章針對的是標準gan生成的質量不高以及訓練過程不穩定這兩個缺陷進行改進。改進方法就是將gan的目標函式由交叉熵損失換成最小二乘損失，而且這乙個改變同時解決了兩個缺陷。
為什麼最小二乘損失可以提高生成質量？
我們知道，gans包含兩個部分：判別器和生成器。判別器用於判斷一張是來自真實資料還是生成器，要盡可能地給出準確判斷；生成器用於生成，並且生成的要盡可能地混淆判別器。
本文作者認為以交叉熵作為損失，會使得生成器不會再優化那些被判別器識別為真實的生成，即使這些生成距離判別器的決策邊界仍然很遠，也就是距真實資料比較遠。這意味著生成器的生成質量並不高。為什麼生成器不再優化優化生成呢？是因為生成器已經完成我們為它設定的目標——盡可能地混淆判別器，所以交叉熵損失已經很小了。而最小二乘就不一樣了，要想最小二乘損失比較小，在混淆判別器的前提下還得讓生成器把距離決策邊界比較遠的生成拉向決策邊界。這一段總結起來就是圖1：
補充：作者是把決策邊界作為中介，認為生成和真實資料之間的距離可以由生成和決策邊界之間的距離來反映。這是因為學到的決策邊界必須穿過真實資料點，否則就是學習過程飽和了。在未來工作中作者也提到可以改進的一點就是直接把生成拉向真實資料，而不是拉向決策邊界。
為什麼最小二乘損失可以使得gan的訓練更穩定呢？作者對這一點介紹的並不是很詳細，只是說sigmoid交叉熵損失很容易就達到飽和狀態（飽和是指梯度為0），而最小二乘損失只在一點達到飽和，如圖2所示：
sigmoid損失處於飽和狀態應該是和wgans中提到的js散度為常數一致，此時生成網路的梯度為0。
最小二乘損失函式：
mindj
(d)=
mind12
ex∼p
r[d(
x)−a
]2+1
2ez∼
pz[d
(g(z
))−b
]2
mingj
(g)=
ming12
ez∼p
z[d(
g(z)
)−c)
]2
其中，d(x
;θd)
表示判別器，g(
z;θg
) 表示生成器，隨機變數z
服從標準正態分佈。常數a、b分別表示真實和生成的標記；c是生成器為了讓判別器認為生成是真實資料而定的值。
作者證明了上述優化目標函式在a−
c=1
、a−b
=2的情況下等價於最小化pr
+pg
和2pg
之間的pearson卡方散度。
作者設定a=
c=1 ，b=
0 。
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...
說說最小二乘
最小二乘是用於根據取樣結果計算 最佳引數 的常用方法。本文簡要描述最小二乘的原理和計算方法。假設我們有乙個系統，我們知道這個系統的響應函式f是某組自變數的線性方程。不失一般性，我們以三個自變數的系統為例，對於自變數x,y,z，系統輸出f滿足f f x,y,z ax by cz d，而a,b,c,d的...