檢測概率和虛警概率 機器學習之 異常檢測法

2021-10-11 20:30:23 字數 828 閱讀 4783

異常檢測演算法是應用廣泛的機器學習演算法,主要應用在產品質量檢測、個人信用評估等方面。

異常檢測演算法的原理:異常檢測演算法的核心是高斯分布(正態分佈),具體方法是評估每個特徵是否集中在正常範圍內,即正常範圍內特徵變數對應的概率就高,異常的特徵變數出現的概率低。異常檢測演算法的輸出是每個特徵向量所得概率的乘積,當輸出小於一定的閾值就認為該輸入是乙個異常樣本。

資料集的分布:異常檢測資料集也分為訓練集、驗證集和測試集。訓練集全部是無標籤正常樣本,用來訓練形成乙個正常樣本的高斯分布函式。驗證集中是有標籤的正常樣本和異常樣本,用來修正正和提高演算法檢測異常的能力。測試集也是有標籤的正常和異常樣本用來測試演算法的異常檢測成功率。

異常檢測演算法衡量標準:用於異常檢測的樣本具有很高的斜偏率,所以必須引入查準率和召回率來衡量演算法。

選擇監督學習方法還是異常檢測方法?首先兩種方法都能用來判斷是否異常,但是應用在不同的情況下,監督學習的方法應用在正常樣本和異常樣本都有充足資料集的情況,異常檢測方法應用在正常樣本充足,異常樣本不足且不可**的情況。

輸入的特徵不符合高斯分布怎麼辦?可以使用對數函式和冪函式進行轉換,調整引數使資料符合高斯分布。

多元高斯分布:有時候兩個特徵變數之間呈現一定的線性關係,這時候單獨算兩個特徵變數的概率容易造成較大的誤差,這時候使用多元高斯分布的方法更有效。多元高斯分布可以自主相關的特徵,可以提高演算法的準確率,不足之處在於計算量慢。

雷達原理筆記之恆虛警概率檢測

南京理工大學許志勇老師的 雷達原理課程 恆虛警概率檢測技術是雷達設計過程中經常涉及到的問題。由於雜訊的存在,雷達在探測目標時不可避免地會出現虛警情況。而這種虛警概率的高低則是反應雷達探測效能的重要指標。恆虛警檢測 顧名思義就是在保證虛警概率一定的情況下,盡可能高的提高發現概率。上圖是,雷達設計過程經...

機器學習之概率題

投乙個骰子,各個數字的概率都是1 6。問投的數字6的期望次數。很顯然,這個題的答案是e 1 1 6 6 具體計算如下 分成兩部分 1 當前狀態下有1 6的概率投出數字6,投擲次數就是1 61 2 5 6的概率投擲出其他數字,那麼需要重現再投e次,才能得到數字6,投擲次數是5 6 1 e 因此,總的式...

機器學習之概率分布2

上面介紹了伯努利分布,下面接著介紹一種更為複雜的情況。本質上伯努利分布描述的是拋硬幣的過程,現在我們考慮擲骰子的情況。骰子有六面,每一面的點數分別為 1,2,3,4,5,6 一般情況下,我們投骰子每一面的概率都是一樣的 都是16 但也有特殊的情況,曾經有段時間,香港電影流行賭博主題的電影 賭神 不小...