《資料探勘導論》讀書筆記11異常檢測

2021-09-07 20:01:02 字數 461 閱讀 2602

異常檢測的目標是發現與大部分其他物件不同的物件。通常,異常物件被稱作離群點(outlier).

異常檢測也稱偏差檢測(deviation detection),因為異常物件的屬性值明顯偏離期望的或者常見的屬性值。

異常檢測也稱為例外挖掘,因為異常在某種意義上是例外的。

應用場景:

欺詐檢測

入侵檢測

生態系統失調

公共衛生

醫療異常檢測方法

基於模型的技術

基於鄰近度的技術

基於密度的技術

統計方法:

檢測一元正態分佈中的離群點,常用方法是高斯正態分佈

多元正態分佈的離群點,mahalanobis距離

異常檢測的混合模型方法,em演算法

基於鄰近度的離群點檢測

基於密度的離群點檢測,lof:local outlier factor技術

基於聚類的技術

《資料探勘導論》讀書筆記1

資料預處理 1.聚集 將兩個或者多個物件合併成單個物件。2.抽樣 一種選擇資料物件子集進行分析的常用方法。抽象方法 簡單隨機抽樣 和漸進抽樣 3.維度約 我覺得翻譯的不好,英文明細是降維。降維技術 1.pca principal components analysis 是一種用於連續屬性的線性代數技...

《資料探勘導論》讀書筆記(一) 緒論

書名 資料探勘導論 introduction to data mining 資料探勘是在大型資料儲存庫中,自動地發現有用資訊的過程。資料探勘技術用來探查大型資料庫,發現先前未知的有用模式。資料探勘還可以 未來觀測結果。傳統資料分析技術遇到的實際問題 可伸縮 需要處理海量資料,演算法必須是可伸縮的 s...

讀書筆記 RUP導論

軟體開發問題的症狀和根本原因 不同的軟體開發專案可能由於不同的原因而導致失敗。遺憾的是,有太多的專案最終都失敗了。我們可以從這些專案中找出一些共同的症狀 1.對於終端使用者的需求理解得不夠精確 2.不能處理需求變更 3.模組之間不相容 4.軟體不易維護和擴充套件 5.對專案的嚴重缺陷發現較晚 6.軟...