演算法測試時需要明確演算法測試工作的定位:演算法質量驗收與場景效能分析,一切工作的目的便是確保這兩項工作的客觀中立性和專業性。下面將根據工作內容的先後順序進行展示。
1. 明確待解決的問題和測試需求
通常首次演算法提測前,產品負責人、產品經理、演算法研發負責人、專案管理人員和演算法測試人員等會開乙個需求評審會,評審會又包括兩個部分:產品演算法功能需求評審和演算法技術方案評審。在此階段演算法測試人員需要:
a.理解產品功能點的需求,即為什麼需要此功能,有了該功能後產品能夠實現什麼樣的效果;
b.了解產品的應用場景範圍,並確定主要的應用場景,對後續測試方案的設計大有幫助;
c.理解產品需求的演算法實現技術方案,確定演算法方案的輸入資料與方式,結果輸出內容與方式,同時確定相關的演算法指標及及演算法方式;
d.測試資料的獲取,最好是業務側提供測試資料,或者演算法應用場景相關的資料資料以供測試方案設計與資料採集;
e.確定演算法測試所需要的相關支援,主要是測試資料支援和演算法相關的介面支援(測試環境)
2.設計演算法測試方案
在確定需求後和演算法技術路線後,便可以著手設計演算法測試方案。
a.確定演算法主要方面、測試因素和測試目的,根據控制變數法設計實驗和資料量;
b.確定需要演算法側提供的相關支援項,並同步在測試方案中,便於跟蹤;
c.確定測試方案後,需要對測試方案進行評審,評審人員應該包括產品負責人、產品經理、演算法研發人員、專案管理人員、演算法測試人員和資料處理人員;
d. 評審通過後需要確定演算法發版時間,提測時間和測試報告產生時間;
e.資料相關的支援確定下來;
d.後續可能需要對測試方案進行更新調整,需要做好版本管理;
3.測試資料採集
測試方案確定以後,便是對資料進行清洗或分類整理,如果沒有資料還需要採集測試資料。
a.測試資料採集,如果業務側提供相關資料,可根據實際需要確定是否需要進行資料採集,如果不提供資料,只能採集資料;
b.對採集的資料進行標註和分類整理,對測試資料中不合格的資料進行清理;
c.對清理好的資料需要進行版本管理,便於後側演算法版本更迭後快速測試;
e.測試資料可能會發生變化更新,需要對測試資料進行版本管理;
4.演算法測試
有演算法測試方案、測試資料集和演算法服務,便可對演算法進行測試。
a.演算法測試時注意異常情況記錄,演算法僅是產品功能點,還會有其他工程性**在其中,可能會有一些工程性問題;
b.排查測試結果異常部分,找出原因並更正記錄;
c.測試演算法服務本身相關資訊,比如:記憶體消耗,時間開銷,穩定性和併發量等;
5.編寫測試報告
演算法測試過程跑完,就需要編寫演算法測試報告,演算法測試報告需要包含一些資訊,便於回溯:
a.測試相關資訊:專案名稱及代號、測試人員、測試日期、演算法版本號等;
b.測試參考文件:產品設計文件、演算法功能需求文件、產品需求評審文件、演算法提測文件、演算法測試方案文件等,便於演算法效能跟蹤;
c.測試結論,通過或不通過,及原因解釋和可能的風險點;
d.演算法測試指標結果;
e.演算法測試結果中badcase分析;
f.其他資訊:測試過程**現的異常問題等.
AI演算法測評事項
前言 1.為什麼需要ai演算法測評?現在的ai演算法依舊是依賴大量的資料進行模型訓練以獲取乙個實際效果較好的模型,由於種種原因無法獲取真實應用場景足夠多的資料。即使能夠獲取大量真實場景資料,資料同質化較為嚴重,對模型效能的提公升非常有限,在演算法應用落地時,需要解決大多數問題或需要知道演算法模型的效...
演算法第五章實踐
寫在開頭 emm,這一次的上機是目前來說最自閉的一次,因為,居然!只做出了一道!看來最近的學習跟刷題還是怠慢了,要加把勁了 正文 第一題,用回溯法實現0 1揹包。一開始直接貼了乙個dfs然後稍微的剪了一下枝,然後發現無論怎麼剪枝,第三第四個樣例都會tle。沒辦法,只好加乙個限界函式,在每一次遞迴前加...
AI演算法收集
演算法名稱 演算法簡介 包含用途 用法 引數含義等 演算法類別 監督學習,非監督學習,強化學習 演算法 公共或自研 領域 face recognition 最簡潔的人臉識別庫,可以使用python和命令列工具提取 識別 操作人臉。基於業內領先的c 開源庫 dlib中的深度學習模型。非監督學習 公共計...