回想整個學習安排,是比較流暢的,理論部分講解較多,實踐部分基本會提供大部分**或者baseline,一般補充幾行**就能跑通,然後進行引數配置調優,當然也可以設計更好的網路結構。這樣低門檻的設定也更好地吸引初學者加入,故為「入門打卡營」。
隨著大資料的發展,深度學習的優勢得以顯現。一般而言,對於乙個實際問題,處理步驟為:資料獲取、資料預處理、設計模型、訓練模型、檢驗與運用。其中,解決問題的核心在於模型的設計與訓練,模型的設計決定了其效果的上限,而模型的訓練是通過某些方法調整模型引數使其不斷接近上限的過程。
幾種改善模型擬合度的方法:
改變網路結構:網路深度與寬度的設計,卷積核大小、stride、padding的設定;
調整超引數:學習率、優化器、迭代次數、訓練批大小等;
解決過擬合:如dropout。
模型壓縮是對已訓練好的模型進行操作,以較小的損失為代價,達到儲存空間壓縮、提公升準確率或提高運算速度的效果,以滿足儲存與算力有限的裝置(如移動裝置、嵌入式裝置)較好地完成ai任務。
幾種模型壓縮的策略:
模型剪裁定點量化知識蒸餾nas
這裡推薦乙個模型壓縮工具集paddleslim:
最後,作為一名深度學習的小白,談一談自己的感受。成長性最大的是打卡營的第2-3天,從完全不了解,通過查閱各種資料,到漸漸讀懂每一行**的含義,到深入理解深度學習的概念及其數學本質;以及打卡營的大專案——**密度檢測的比賽,運用前幾天學到的知識與實現方式,不斷地調參訓練,雖然沒進top10,卻也可以接受(13/442)。
深度學習入門
generative adversarial network gan 生成對抗網路 梯度消失 梯度擴散 gradient diffusion deep learning i.e.unsupervised feature learning 目的是讓機器自動學習良好的特徵,而免去人工選取過程 深度學習是...
深度學習入門
元胞自動機實質上是定義在乙個具有離散 有限狀態的元胞組成的元胞空間上,並按照一定的區域性規則,在離散的時間維度上演化的動力學系統。元胞又可稱為單元 細胞,是元胞自動機的最基本的組成部分。乙個標準的細胞自動機由元胞 元胞狀態 鄰域和狀態更新規則構成。用數學表示為 a l,d,s,n,f 其中l為元胞空...
深度學習入門
1 人工智慧 1956年,幾位科學家相聚在達特茅斯會議提出了人工智慧的概念。當時計算機剛剛出現不久,他們希望通過用計算機來構造複雜的,擁有與人類智慧型具有同樣本質的機器。然後幾十年,人工智慧一直在兩極分化,有些人認為這個是改變人們未來生活的乙個大的方向 但是有的人認為人工智慧是一種噱頭,或者是一種泡...