1.定義:在統計學領域和機器學習領域,對異常值也能保持穩定、可靠的性質,稱為魯棒性。比如說,計算機軟體在輸入錯誤、磁碟故障、網路過載或有意攻擊情況下,能否不宕機、不崩潰,就是該軟體的魯棒性。所謂「魯棒性」,是指控制系統在一定(結構,大小)的引數攝動下,維持某些效能的特性。有乙個與魯棒性很相似的概念叫模型的泛化能力。
泛化能力:(
generalization ability
)是指機器學習演算法對新鮮樣本的適應能力,對具有同一規律的學習集以外的資料,經過訓練的網路也能給出合適的輸出,該能力稱為泛化能力。
根據泛化能力好的網路設計的神經網路控制器的魯棒性也會有所改善
.泛化能力指對未知資料的**能力;
2.我們先來看一組例子理解魯棒性的表現:
例子1.
圖,生成的對抗樣本中的擾動對人類視覺來說不
敏感,但是對於
模型來說,原本以
57.7
%的概率被判成熊貓的在修改後以
99.3
%的概率被判成了長臂猿。
則該系統的抗干擾性差,魯棒性低。
例子2.
對於處於決策邊界邊緣的資料,只需要稍微在數值上增加一點點或減小一點點,所得到的結果就會截然不同。
例子3.
一味地追求精確度會降低系統魯棒性。
3.影響魯棒性的原因:
樣本資料中含有噪音降低了資料質量。
樣本中種類相似度較高,模型易混淆。
4.提公升魯棒性的方法:
(1)從資料上提公升效能
收集更多的資料
、產生更多的資料
、對資料做縮放
、對資料做變換
、特徵選擇
、重新定義問題
(2)
從演算法上提公升效能
演算法的篩選
、從文獻中學習
、重取樣的方法
(3)從演算法調優上提公升效能
注意力機制(
給與每個畫素權重,來衡量畫素間的相關性spnet)、模型可診斷性、權重的初始化
、學習率
、啟用函式
、網路結構
、batch
和epoch
、正則項
、優化目標
、提早結束訓練
(4)
用融合方法提公升效果
模型融合
、視角融合、stacking、多尺度融合(使用不同尺度的卷積核,增加模型的
感受野,典型代表金字塔deeplab系列)
(5)增加模型寬度
將通道分成多組,每組單獨進行卷積,然後再將通道合成
可以減少模型的引數,提高模型準確率,增加魯棒性(resnext)。
人生魯棒性的WWH
悟已往之不諫,知來者之可追。實迷途其未遠,覺今是而昨非。歸去來兮辭 陶淵明 可以未雨綢繆,但不應為此焦慮 接受最壞的可能,爭取最好的結果 改變自己對現實的認知 判斷和相應的決策,積極的人生態度和樂觀精神。開誠布公不代表你一定能獲得想要的結果,也不代表你能跨過那些障礙,但可以讓你更直接的得到答案,如果...
積體電路的魯棒性
1.擾動 1 工藝擾動 2 電源電壓 3 工作溫度 這三個擾動又稱為pvt。你的目標是必須設計乙個電路使它在這三個引數的所有的極端情況下都能可靠工作。電源電壓除隨時間變化外還在整個晶元上變化。隨溫度上公升,漏極電流下降。工藝擾動 對於器件,最主要的擾動是溝道長度l和閾值電壓vt。溝道長度擾動是由光刻...
區別系統的「穩定性 魯棒性 與非脆弱性」
from 一日下課,遇見幾名學生問我 蟲老師,控制系統的穩定性 魯棒性 與非脆弱性本質上是否一回事呢?好像都是對不確定性的抵禦能力,劃分的這樣細,實在有些費解。蟲老師,你能用我們一聽就明白的話給我們說一說麼?這個問題是控制系統的三個最為重要的基本概念。其中,穩定性一百多年前就有了十分完善的數學理論了...