基於網路流量進行異常檢測

2021-04-22 15:41:08 字數 3092 閱讀 7191

傳統入侵檢測的不足

隨著internet的不斷發展,網路安全已經逐漸成為人們越來越關心的問題,而入侵檢測系統是繼防火牆之後逐漸興起的防護手段之一,也越來越受廣大學者和工程人員的重視。

傳統的入侵檢測方法分為兩種:基於誤用檢測(misused-based)方法和基於異常 檢測(anomaly-based)方法。前者需要攻擊樣本,通過描述每一種攻擊的特殊模式來檢測。該方法的查準率很高,並且可提供詳細的攻擊型別和說 明,是目前入侵檢測商業產品中使用的主要方法。然而經過長時間的研究和應用,該方法也暴露出一定的弱點,由於基於特徵的入侵檢測系統是依靠人為的預先設定 報警規則來實現,所以在面對不斷變化的網路攻擊時有其本身固有的缺陷,比如,利用這種方法時需要維護乙個昂貴的攻擊模式庫、只能檢測已知的攻擊等。另一方 面,攻擊者可以通過修改自己的攻擊特徵模式來隱藏自己的行為,而且有些攻擊方法根本沒有特定的攻擊模式。異常檢測方法主要針對解決誤用檢測方法所面臨的問 題。因而本文主要**的是基於網路流量異常的入侵檢測方法。

基於流量異常的檢測方法有很多,較常用的有基於域值的檢測方法,基於統計的檢測方法,基於小波的檢測方法,基於馬爾可夫等隨機過程模型的方法和一些基於機器學習、資料探勘和神經網路等檢測方法,但是這些方法主要存在以下問題。

(1)報警意義不明確:由於上述入侵檢測方法只檢測了網路流量中的一種或幾種特徵向量,而且選取的特徵向量沒有特定的攻擊含義,因而檢測系統報警時只知網路中某些特徵向量出現了異常,但是不能判斷出現了什麼樣的攻擊。

(2)由於internet是沒有集中管理的多個管理域的網際網路絡,但是入侵檢測要求各個檢測系統之間是協同執行的,因而作為協同執行的主要內容的共享資料的提供就顯得非常重要。

(3)可擴充套件性較差:由於現有的異常檢測系統大多採用一種或幾種單一的網路特徵向量作為學習和判斷的依據,對網路流量的異常描述較為單薄;其次在入侵檢測系統協同執行中網路特徵向量選取得較少就可能會影響檢測系統的可擴充套件性。

基於會話的儲存狀態資訊的異常檢測方法由於現有網路流量的不斷變大將逐步受到限制。因而在darpa2023年總結出的判斷每乙個正常與異常tcp/ip連線的41個特徵向量的實時使用就變得越來越難以實現。

針對以上問題本文提出了一種較為通用的基於網路流量模型的異常檢測方法。該方法採用無狀態 保留的方式,採用基本特徵向量來描述網路流量實時的執行狀態,並且利用基於攻擊特點的流量特徵組合使報警的意義更加明確。同時鑑於流量基本特徵資料的大小 以及安全性等特點,也為各個管理域之間的異常檢測資訊的交流提供了乙個較為通用的平台。該基於網路流量的異常檢測方法已經實際運用在清華大學校園網出口監 測點上,取得了比較顯著的檢測結果。 

基於網路流量進行異常檢測的原理

本文中的異常檢測是基於將網路流量特徵向量分層劃分的思想實現的。將流量特徵分為兩個層 次:基本特徵集合和組合特徵集合。其中基本特徵集合是實時從網路流量中提取的一些網路流量的基本特徵資料,比如流量的大小、包長的資訊、協議的資訊、埠 流量的資訊、tcp標誌位的資訊等。這些基本特徵比較詳細地描述了網路流量的執行狀態。

組合特徵集合是可以根據實際需要實時改變設定的。針對某種特定的攻擊行為,將涉及該攻擊行 為的基本特徵的子集作為描述該種攻擊行為的特徵。比如對於syn flood攻擊,組合特徵就可以選取pkts/s、平均包長、syn包的個數等資訊。利用以往基本特徵集合的資料對該種攻擊行為的特徵進行學習和訓練,就 可以實時得到該攻擊行為組合特徵的正常和異常模型。用此模型就可以實時地對網路上該種攻擊行為進行檢測。

另一方面對於已知攻擊種類和行為的資料集進行學習還能對人為選取的攻擊組合特徵進行優化, 使之更能反映該攻擊行為的特點。由於資料集是通過對網路流量實時提取獲得的,真實地反映了網路的實時狀態,因而通過共享該資料集可以為網路中不同管理域之 間異常檢測系統提供乙個協同執行和控制的平台。

網路流量基本特徵資料集是整個網路流量異常演算法的基礎。為了保證該演算法的可靠性和比較強的 可擴充套件性,就要求基本特徵能夠比較完備地描述網路流量的特徵。但同時由於網路的異常檢測有實時性的要求,以及考慮到現有計算機的計算能力等問題,基本特徵 的選取不能對所有流量資訊進行提取,而必須對之進行選擇。基於以上考慮,在現有的系統中我們主要提取了以下內容。

除此以外在基本特徵集中還預留了大約100個保留項,以便將來的擴充套件之需。由這些保留項以及上述各個提取的內容共同組成了乙個有256項的基本特徵集。該基本特徵集有以下幾方面的特點:

(1)比較詳細地涵蓋了現有網路中主要流量的各種統計資訊。

(2)不含敏感資訊,比如ip位址,包內容資訊等。

(3)其儲存空間完全有限,如果每隔30秒統計一次,乙個月大約有30×24×60×2= 86400條記錄,每條記錄由256個數字組成,如按照文字格式儲存大約是2048個位元組。因而按照這種方式儲存一年的資料所需空間大約是2048×8× 86400×12=16986,931200bits,這大約是17gb的空間。

實驗過程

本試驗採用的試驗資料為1999 darpa提供的試驗資料。其中第一周由於不含攻擊,因而可以作為訓練資料進行訓練,第二週的資料作為檢測資料,第二週試驗資料中的攻擊已經表示出來。

我們選取其中的mailbomb和neptune作為試驗檢測的專案。將試驗資料按五分鐘分割成各個資料點,我們可以得到1280個資料點。表3是mailbomb選擇不同的組合特徵得到的檢測結果。表4是neptune選擇不同組合特徵的檢測結果。

其中l1~l5表示的是包長分布在32~63、64~127、128~255、256~511和512~1023各個段落中的包的個數。

從試驗的結果可以看出,在整個基於網路流量模型的異常檢測框架下,能比較方便地通過組合不 同的基礎特徵實現對不同種類的異常攻擊的檢測,並能取得比較好的檢測效果。同時我們還可以看到,針對某種攻擊如果選取不同的特徵組合,其檢測的結果之間還 是有區別的,選取過程中如果缺少必要的基礎特徵將導致漏報率的變大,而選取過多的無關基礎特徵則會降低檢測誤報率的效能。這就要求我們在選取標示某種攻擊 的特徵組合時必須在必要基礎特徵的基礎上根據檢測的網路的實際流量模型,對特徵組合進行具體的優化。

方法評測

基於網路流量的異常檢測方法通過組合不同的基礎特徵能比較靈活地檢測不同的網路攻擊,同時每種組合特徵又標示著某種攻擊,所以能使網路流量異常的報警更具實際意義。

基於網路流量的異常檢測方法提供了乙個壓縮比較高且能比較全面反映實際網路流量的基礎特徵,這為將來的異常檢測提供了乙個較好的資料平台,具有比較好的可擴充套件性,同時該資料集還能為不同域之間異常檢測資訊的互動提供一種可能

基於網路流量進行異常檢測

傳統入侵檢測的不足 隨著internet的不斷發展,網路安全已經逐漸成為人們越來越關心的問題,而入侵檢測系統是繼防火牆之後逐漸興起的防護手段之一,也越來越受廣大學者和工程人員的重視。傳統的入侵檢測方法分為兩種 基於誤用檢測 misused based 方法和基於異常 檢測 anomaly based...

獲取網路流量

獲取網路流量 int getnetworkpercent 第一次呼叫 getiftable 獲取必要資訊寫入 dwsize sizeof mib iftable if getiftable piftable,dwsize,false error insufficient buffer 效能計數器獲取...

網路流量監控

1.網路流量監控有什麼用?網路流量監控可以用來分析網路 2.網路流量監控技術有哪些?映象技術 sflow netstream 1.什麼是映象技術?映象技術是一種用來網路監控和故障排除的技術。2.映象技術有什麼用?映象技術可以在不影響報文正常處理流程的情況下,將映象埠的報文複製到乙份觀察埠,使用者利用...