c&w演算法原理
** 2017oakland-towards evaluating the robustness of neural networks.
之前有人提出蒸餾網路，說是可以為目標網路模型提供很強的魯棒性，能夠把已出現的攻擊的成功率從95%銳減到0.5%。作者提出了新的攻擊方法，成功攻擊了蒸餾網路。
蒸餾網路主要是通過梯度遮蔽的方式進行防禦。它是乙個知識提取的過程，首先訓練得到乙個老師模型，然後使用老師模型計算訓練集裡面所有樣本的soft label，這裡的soft label是指網路輸出的各個類別的概率值（也就是softmax之後的輸出結果），然後把這個softmax給的概率向量作為輸入，訓練學生模型，使其能夠盡快學習到老師的能力，從而達到隱藏模型梯度資訊的目的。但這種遮蔽是一種理想狀態，無論遮蔽的效果多好，只要函式可導，就能得到梯度。
c&w演算法是基於優化的攻擊演算法。創新點在於，設定了乙個特殊的損失函式來衡量輸入與輸出之間的差異。這個損失函式含有可調節的超引數，以及可控制生成的對抗樣本的置信度的引數。通過對這兩個引數的選擇合適的值，生成優秀的對抗樣本。
根據範數的不同，c&w演算法分為l
0l_0
l0、l
2l_2
l2和l
∞l_\infty
l∞。
-l
2l_2
l2：在修改的程度與數量之間達到平衡。
l0：一步步的找到那些對分類結果影響很小的畫素點，然後固定這些畫素點（因為改了它們也沒有什麼作用），直到無法再找到這樣無影響的畫素點了。剩下的畫素點即為所需更改的點。
-l
∞l_\infty
l∞：限制了更改的程度
對抗樣本生成演算法之BIM演算法
2017iclr adversarial examples in the physical world.相對於fgsm的單步攻擊，i fgsm分多步新增雜訊，更能擬合模型引數，因此通常表現出比fgsm更強的白盒能力。fgsm裡面，每次尋找對抗樣本的時候，直接是x sig n x j x,y x ep...
對抗樣本生成的PGD和C W方法
projected.gradient algorithm 先記錄幾個常見的單詞 convex set 凸集convergence rate 收斂速率 convex 凸函式interpretation 理解l0範數是指向量中非0的元素的個數。l0範數很難優化求解 l1範數是指向量中各個元素絕對值之和 ...
CART生成演算法
輸入 訓練資料集 d 停止計算的條件 輸出 cart 決策樹。根據訓練資料集，從根結點開始，遞迴地對每個結點進行以下操作，構造二叉決策樹 1 設結點的訓練資料集為 d 計算現有特徵對該資料集的基尼指數。此時，對每乙個特徵 a，對其可能取得每個值 a 根據樣本點對 a a的測試為 是 或 否 將 d ...