異常檢測的目標是發現與大部分其他物件不同的物件。通常,異常物件被稱作離群點(outlier).
異常檢測也稱偏差檢測(deviation detection),因為異常物件的屬性值明顯偏離期望的或者常見的屬性值。
異常檢測也稱為例外挖掘,因為異常在某種意義上是例外的。
應用場景:
欺詐檢測
入侵檢測
生態系統失調
公共衛生
醫療異常檢測方法
基於模型的技術
基於鄰近度的技術
基於密度的技術
統計方法:
檢測一元正態分佈中的離群點,常用方法是高斯正態分佈
多元正態分佈的離群點,mahalanobis距離
異常檢測的混合模型方法,em演算法
基於鄰近度的離群點檢測
基於密度的離群點檢測,lof:local outlier factor技術
基於聚類的技術
《資料探勘導論》讀書筆記1
資料預處理 1.聚集 將兩個或者多個物件合併成單個物件。2.抽樣 一種選擇資料物件子集進行分析的常用方法。抽象方法 簡單隨機抽樣 和漸進抽樣 3.維度約 我覺得翻譯的不好,英文明細是降維。降維技術 1.pca principal components analysis 是一種用於連續屬性的線性代數技...
《資料探勘導論》讀書筆記(一) 緒論
書名 資料探勘導論 introduction to data mining 資料探勘是在大型資料儲存庫中,自動地發現有用資訊的過程。資料探勘技術用來探查大型資料庫,發現先前未知的有用模式。資料探勘還可以 未來觀測結果。傳統資料分析技術遇到的實際問題 可伸縮 需要處理海量資料,演算法必須是可伸縮的 s...
讀書筆記 RUP導論
軟體開發問題的症狀和根本原因 不同的軟體開發專案可能由於不同的原因而導致失敗。遺憾的是,有太多的專案最終都失敗了。我們可以從這些專案中找出一些共同的症狀 1.對於終端使用者的需求理解得不夠精確 2.不能處理需求變更 3.模組之間不相容 4.軟體不易維護和擴充套件 5.對專案的嚴重缺陷發現較晚 6.軟...