引入ai演算法進行日誌異常檢測,日誌異常檢測的通常做法分為4步:
收集日誌。華為已經準備好了日誌資料,並劃分為了訓練集和測試集。
日誌解析。日誌解析又稱模板提取。日誌解析的目的是將非結構化或半結構化的日誌資料轉換為結構化模板資料。日誌通常是由**中對應的「模板」列印出來,例如:模板「received block * of size * from *」可以用print函式列印出來一條日誌received block blk_321 of size 67108864 from /10.251.198.04,也可以列印出來另一條日誌received block blk_005 of size 0321428 from /10.251.198.12,等等。通過日誌解析,可以將原始日誌「還原」為對應的模板。
特徵提取。日誌異常檢測通常是分析模板的行為來判斷是否發生異常。模板的特徵可以由業務經驗豐富的研發人員設計出來,也可以使用神經網路(如lstm)自己學習得到。
異常檢測。通過分析模板特徵得出異常發生的時間與對應的異常日誌或異常型別。
可以以5分鐘為最小時間單位,即乙個時間片(time_slice),time_slice的格式為year/month/day hour:min:sec, 其中分鐘min為5的整數倍,具體情況參看上邊的submit.csv第二列。若某個時間片上有異常,則標記為1,若不存在異常,則標記為0. (備註:time_slice的具體大小,參賽者也可以自己定義。time_slice=5min為建議值)
tp(true positive): 真實為 1,**也為 1;
fn(false negative): 真實為 1,**為 0;
fp(false positive): 真實為 0,**為 1;
tn(true negative): 真實為 0,**也為 0。
按以下公式計算參賽者的成績評分,依據準確率p和召回率r,計算 f1-score,最後按照 f1-score 對所有參賽者進行排序。
人工智慧基礎 華為雲
1 人工智慧的發展史 發展歷史 1945 圖靈測試 1955 人工智慧 一詞在乙份關於召開國際人工智慧會議的提案中被提出,正式宣告人工智慧作為一門學科的誕生 1986 具有里程碑意義的 通過誤差反向傳播學習的表示 2007 李飛飛和同事建立imagenet 大型注釋影象資料庫,旨在幫助視覺物件識別軟...
BAT華為「搶跑」人工智慧 華為成立智慧型計算業務部
據行業訊息,今天,華為伺服器 產品線 正式公升級為華為智慧型計算業務部。目前,華為採取 3 1 的組織結構,分為三大bg 運營商業務bg 消費者業務bg 企業業務bg 一大bu 華為雲bu 原華為伺服器產品線屬於企業業務bg,此次公升級後,華為智慧型計算業務部依然歸屬於企業業務bg。同時,隨著組織結...
人工智慧 語義網路推理
通常人們把利用語義網路知識表示方法所進行的推理稱為語義網路推理。語義網路的推理過程主要有兩種,一種是繼承,另一種是匹配。步驟一 繼承 建立乙個結點表,用來存放待求解結點和所有以isa,ako等繼承弧與此結點相連的那些結點。在初始情況下,表中只有待求解結點。檢查表中的第乙個結點是否有繼承弧。如果有,就...