說在前面
今天看了 generating differentially private datasets using gans，明天要討論。老師不知道從**挖出了這篇被拒了的文，
但是他們差分隱私的證明還是值得梳理。可能是學科視角的原因？我一學統計的看這種文章總是覺得有些奇怪。原文☞
生成器：從資料中學習資料的概率分布p(data)，抽樣生成資料
判別器：增加乙個高斯噪音層，使輸出的資料實現差分隱私效果，從而使生成器的權重也能實現差分隱私。
流程：敏感資料集通過判別器，向前傳遞，加上噪音，訓練生成器，生成器產生新資料集。
如何實現差分隱私
記號$pi$: 高斯噪音層
$x_pi,x_pi^prime: pi$層的輸入
$hat,hat^prime = n(x),n(x)$: 神經元網路最後一層輸出
引理1如果高斯噪音層的輸入保證$x,x^prime$的鄰接性質，且層的輸出保證$(epsilon, delta)$差分隱私
定理1(向前傳遞)如果乙個確定的(沒有dropout)向前傳遞神經元網路的高斯噪音層保證$(epsilon, delta)$差分隱私性質，那麼
這個神經元網路的輸出$hat$也可以保證$(epsilon, delta)$差分隱私。
定理2(向後傳遞)如果乙個向前傳遞網路的輸出$hat$保證$(epsilon, delta)$差分隱私，那麼在第i次梯度下降的時候，權重更新
$omega_x^$也可以保證$(epsilon, delta)$差分隱私。
結論(gan)給定乙個gan，生成器的隱私約束和判別器(帶有隱私保護層)的隱私保護水平是一樣的。
定理3(私人標籤)如果乙個向前傳遞網路n的輸出$hat$保證$(epsilon_1, delta_1)$差分隱私，訓練標籤
$tilde$保證$(epsilon_2, delta_2)$差分隱私，那麼在第i次梯度下降的時候，權重更新
$omega_x^$也可以保證$(epsilon_1+epsilon_2, delta_1+delta_2)$差分隱私。
在標籤的訓練上，讓資料x和監督標籤y用不同的隱私保護機制$m_1和$和$m_2$，那麼可以使用基礎 順序組合定理來獲得隱私保護水平。
不足之處證明定理的過程不太清楚
要保證上述性質實現，discriminator必須有很強的性質，保證在噪音層前沒有dropout和batch normalization
$epsilon$和經驗分析比起來太小，懷疑是假的[評審意見]
為什麼GAN不能處理離散資料？
最初的 gans 僅僅定義在實數領域，gans 通過訓練出的生成器來產生合成資料，然後在合成資料上執行判別器，判別器的輸出梯度將會告訴你，如何通過略微改變合成資料而使其更加現實。一般來說只有在資料連續的情況下，你才可以略微改變合成的資料，而如果資料是離散的，則不能簡單的通過改變合成資料。例如，如果你...
為什麼GAN不能處理離散的資料
最初的 gans 僅僅定義在實數領域，gans 通過訓練出的生成器來產生合成資料，然後在合成資料上執行判別器，判別器的輸出梯度將會告訴你，如何通過略微改變合成資料而使其更加現實。一般來說只有在資料連續的情況下，你才可以略微改變合成的資料，而如果資料是離散的，則不能簡單的通過改變合成資料。例如，如果你...
gan怎麼輸入一維資料 一文看懂GAN的原理
生成對抗網路 generative adversarial network，gan 自從2014年由ian goodfellow提出以來，一直受到了廣泛的關注和研究，在短短幾年時間內獲得了快速的發展，並在許多應用場景中取得了顯著的成果 以計算機視覺 computer vision，cv 領域中的人臉...