** 目標檢測(監督學習)
fasterrcnn、cascadercnn
yolox、complex-yolo
ssd、retinanet,focs、atss
cornernet、centernet
boxinst
** 目標檢測(無監督學習)
深度學習方法:
影象識別比影象分類多乙個回歸的任務
rcnn、fastrcnn(ross girshick)、faster rcnn(任少卿、何凱明、孫劍、ross)。使用cnn判別候選區域的類別(分類工作),使用預計算技術sharing feature map加速模型訓練和物體檢測速度,同時共享特徵圖提高計算roi的速度(使用了rpn),其次採用全卷積海量滑動視窗分類檢測物體。
rcnn系列演算法檢測步驟:第一步實現分類第二步實現回歸,由於改進現在也很多端到端一步方法yolo,unified,real-time object detection,single shot multibox detector,特點物體檢測樣本正負極端不均衡,two-stage-cascade更好對應非均衡。所以端到端需要更多研究研究,不過最近很多方法,上海交大等研究模型進步很快。
法國inria研究所的研究人員nikos paragios描述原因及特點。
第一深度學習可以做的傳統方法無法達到的高精度準確,工業上非常實用。
第二深度學習的演算法通用性強fasterrcnn都可以用在檢測人臉、行人、一般物體。
第三深度學習獲取特徵有很強的遷移能力,知識表示能力很強。例如imagenet訓練完很多場景都能用。
第四工程維護成本低,主要是矩陣乘和卷積通過現有的層可以開發複雜網路結構實現功能的融合,可以對比維護boosting、random forest。
深度學習與機器學習的區別:
深度學習是學習輸入到輸出的多層的復合對映,二而機器學習只是一種對映。學習目標和學習方法可以通過調節層之間卷積或全連線的關係或其他對映得到不同的知識表示。亞研院用rf做過乙個新對映關係研究等。
商湯cvpr2023年發布的**是目前工業級主要的應用,四篇**分別是《物體分割》、《服飾識別搜尋術》、《行為識別與定位》、《人臉檢測中級聯卷積神經網路聯合訓練》,基礎技術alexnet、vggnet、googlenet、resnet、densnet完成任務:檢測、識別、分割、特徵定位、序列學習。
第一篇主要解決的學術問題:instance segmentation(simultaneous detection and segementation)
主要解決了object detection檢測和語義分割semantic segmentation需要得到物體精確的邊界資訊和區分不同物體。
從語義分割上公升到場景理解,解決joint cascade face detection and alignment,facial landmark detection by deep mulit -task learning。有多個標註的任務並列multi-task learning。
所以多感知學習是非監督學習的方向主要是借助動態規劃和**決學習侷限,實現遷移學習基礎上的增強學習
deep residual learing for image recognition和structural—rnn:deep learning spatio-temporal graphs值得閱讀。
**太對了,可以閱讀最近幾年cvpr、eccv、iccv的最近**和最佳學術**。
孫劍和何凱明等主要解決了超過20層的訓練和測試不再下降,隨著層數增加loss會逐漸增加。通過跨層反傳skip-layer把loss反傳到中間的很多層,解決梯度傳播問題,同時提出一種思路:resnet通過skip-layer可以做到多模型融合。
模型優化有本書《解析卷積神經網路》第四章有壓縮方案
前端壓縮和後端壓縮,分別是剪枝、低秩近似和引數量化。
前端方法:
剪枝,思想來自決策樹解決冗餘引數。流程
1、衡量神經元的重要程度,l1和l2範數來衡量channel維濾波器的重要程度
2、按照重要程度降序刪除影響小神經元
3、網路微調
4、迴圈操作
一種基於濾波器權重的剪枝一種基於資料驅動根據某乙個channel輸出的稀疏程度,也可能反應出了濾波器權重的稀疏程度。另外計算濾波器對於損失函式的影響程度減去小濾波器。所以適用於前端壓縮技術,對網路破壞性小。
低秩近似(後端)
卷積的基本操作矩陣的相乘和相加,權重矩陣的特徵比較巨大和稠密,計算開銷和儲存很大,所以進行矩陣的若干個小規模矩陣近似重構。奇異值分解svd分解全鏈結層的權重。
但是由於這種方法的本質是重構近似矩陣,大型神經網路秩很高不一定能用,所以適合小網路。
引數量化
權重聚類,通過類別索引代替原權重矩陣。步驟如下:
1、歸納權重代表,代表某一類權重的具體數值。
2、將代表數存在碼本中
3、將原矩陣中的權重替換成索引標量表示
採用思想:二值網路、知識蒸餾、緊湊網路結構技術。
相關機構:雲從研究院、《iclr2016best*****》song han、isca2018、
發展方向:non-fine-tuning or unsupervised compression
self-adaptive compression
network acceleration for other tasks
hardware-software co-design
binarized neural networks 等valse2018深度神經網路加速與壓縮
職業發展方向
1,技術類。這個方向對於技術的要求是最高的。從乙個測試工程師到乙個測試技術專家,一般來講,我們要求精通測試理論知識,精通一到兩種自動化測試工具和 測試技術,精通一到兩種測試型別與工具 效能測試,壓力測試,安全性測試等 熟練掌握兩到三種程式語言,熟練掌握windows和linux,unix 的系統管理...
astercrm的發展方向
對於目前的0.047來說 我想當正式版本發布以後基本已經具有呼叫中心的基本功能了,完全可以滿足一般使用者的需要。那麼當這個版本完成之後 我將考慮在分組管理上進行改進,以滿足集中式呼叫中心的需求,及同乙個系統能同時為不同的使用者服務,及流行的 hosted callcenter,今後的astercrm...
軟體測試發展方向
檢視 127 評分 1 0 從 測試工程師的職業發展來看這個問題。一般來講,測試工程師的發展方向無外乎以下幾個方面,而每個方向的要求是不一樣的,談論測試人員的技術要求,我們也需要根據個人的職業規劃和公司的發展來看這個問題。級測試工程師 剛入門擁有電腦科學學位的個人或具有一些手工測試經驗的個人。開發測...