【摘要】問題 kpi異常檢測專案需要對裝置內多模組、多型別資料，並根據波形以及異常表現進行分析，這樣的資料量往往較大，對記憶體和效能要求較高。同時，在設計優化演算法時，需要快速得到訓練及測試結果並根據結果來調整演算法，因此進一步要求計算記憶體和效能達到較高的水平。當前，本地安全pc效能難以滿足除錯要求，難點主要在於，時間序列資料以csv檔案格式儲存，需要根據時序關係以及五維關鍵字拆分成以五維關鍵字為主...kpi異常檢測專案需要對裝置內多模組、多型別資料，並根據波形以及異常表現進行分析，這樣的資料量往往較大，對記憶體和效能要求較高。
同時，在設計優化演算法時，需要快速得到訓練及測試結果並根據結果來調整演算法，因此進一步要求計算記憶體和效能達到較高的水平。
當前，本地安全pc效能難以滿足除錯要求，難點主要在於，時間序列資料以csv檔案格式儲存，需要根據時序關係以及五維關鍵字拆分成以五維關鍵字為主鍵的唯一時序資料，這一過程需要將同一臺裝置所有kpi檔案同時讀入記憶體，一星期kpi資料檔案就達到gb級別，單單本機訓練就需要41min。同時，每台網管裝置納管幾千臺裝置，訓練花的時間將按裝置數對應倍數增加，單程序執行網管裝置局點資料分析的時間將到達month級別。
kpi異常檢測專案希望能夠根據kpi資料特點，顯著縮短訓練時間，以滿足快速測試演算法調優的需求。
1. 對華為naie訓練平台現有任務機制進行拓展，任務可使用master-worker機制，即原來的任務變成master控制訊息分發，在其命名空間下建立n個子任務，迴圈處理資料
2. 設計一套簡單易用的api，盡量對業務**無侵入
我們從naie sdk中匯入兩個裝飾器
假設我們有四個資料集例項，我們將它定義為乙個列表
如上面**所示，主程式每次接受乙個列表中的元素，其餘**和單機保持一致。
after裝飾器下面的**只會在主節點上執行一次，它執行的時機是所有的主程式執行完之後，請根據業務的需求決定是否新增。
50個同等大小的資料夾如果在本地執行約需要34hour，擴大訓練任務節點數後（現為30個），50個同等大小的資料夾在訓練平台執行時間縮短為2hour。
點選關注，第一時間了解華為雲新鮮技術~
華為雲技術分享 雲小課 「VPC連線」知多少
摘要 華為雲提供了豐富的網路服務，可滿足多種網路互連場景。同region的兩個vpc怎麼連通？跨region的兩個vpc又怎麼連通？vpc內的ecs搭建了乙個應用，需要訪問internet，怎麼弄？某客戶的業務一部分在香港，一部分在大陸，怎麼經濟可靠的連線起來？某客戶既有本地的資料中心，又想把一部分...
華為雲技術分享 雲容器引擎 CCE許可權管理實踐
隨著容器化的快速發展，大資料原有的分布式任務排程模式，正在被基於kubernetes的技術架構所取代。cce雲容器引擎是華為雲推出的支援kubernetes社群原生應用和工具，應用級自動彈性伸縮，自動化搭建雲上容器平台。使用者通過雲容器引擎可以快速高效的將微服務部署在雲端。為方便管理員對cce資源的...
Linux入侵痕跡檢測方案 華為雲技術分享
掃瞄是一切入侵的基礎，通過掃瞄來發現目標主機是否為活動主機 作業系統是什麼版本 開放了哪些服務等。掃瞄技術紛繁複雜，新的掃瞄技術也層出不窮，不可能窮舉所有掃瞄技術，下面按入侵步驟對主機掃瞄 埠掃瞄和服務掃瞄技術做乙個簡要分類與概述。活動主機掃瞄可分為兩類 1 icmp echo掃瞄與broadcas...