暑期深度學習實訓筆記

2021-08-05 19:52:05 字數 2526 閱讀 9978

本筆記包含深度學習的整體框架的summary:

f(x

,w)=

f(x,w) =

f(x,w)

= 每個類別的得分值。

score functionsuch as f(x

,w)=

w∗x+

bf(x,w)=w*x+b

f(x,w)

=w∗x

+b

得分函式的分類效果好壞需要有損失函式來評估調整。得分函式分類得分的結果是由score function的w引數決定的,輸入的x通過合理的w得到的得分才能更接近於正確的分類。

loss function的值越大代表分類效果越差,越小越好,為0是理想狀態。在softmax分類器中概率越接近於0,loss值越大;概率接近於1,loss值越小。

(一) k近鄰(knn)分類演算法,簡單的機器學習演算法之一。

(1) k值引數不同,分類結果不同。若k=3,由於紅點所佔比例為2/3,綠點將被賦予紅色類,若k=5,由於藍點比例為3/5,因此綠點被賦予藍色類。

(2) 給定乙個訓練資料集:對新的輸入例項,在資料集中找到與該例項最鄰近的k個例項,若這k個例項中大多數屬於某個類,則把輸入例項分為這個類。

(3) 演算法中,當訓練集、距離度量、k值和分類決策規則確定後,對於任何乙個新的輸入例項,它所屬的類唯一確定。例如影象處理對動物的分類中,取l1度量,得到度量值取前10個(k=10),根據10個當中的標籤類別比例,來得出分類結果。

(二) 資料可分為traintest,資料量並不大很寶貴。充分利用資料可採用交叉驗證

(1) 將資料分為train、validation、test。做法為:假設5重交叉驗證,將訓練集分為5份,選擇其中4份作為train,另乙份作為val,train經過5次同時也val經過5次,將5次的平均作為該引數下的val結果。

**t --------- v **

**t --------- v **

**t --------- v **

**t --------- v **

**t --------- v **

(2) 然後對於不同的引數,重複這樣的訓練。選擇準確率最高的引數作為最後的引數。在訓練過程中不test,最終才test。

1.非線性的函式:啟用函式。**σ函式在某些位置斜率接近於0,在反向傳播鏈式求導過程中梯度為0,難以更新。**因此,用max函式代替。

2.drop-out防止過擬合。dropout的出現很好的可以解決這個問題,每次做完dropout,相當於從原始的網路中找到乙個更瘦的網路,讓某些指定的神經元不參與計算和更新。讓某個神經元的啟用值以一定的概率p,讓其停止工作。test用全部神經元,訓練只用部分。不工作的那些節點可以暫時認為不是網路結構的一部分,但是它的權重需要保留僅僅只是暫時不更新而已,因為下次樣本輸入時它可能又要工作了。

3.權重初始化不可以全部設定為0,因為這樣會導致各項引數會沿著相同的方向更新。

深度學習的基礎為神經網路,基本上它的框架理清了。

2017.8.7

2017 7 10 暑期實訓日誌

學習日誌 姓名 範 譯 日期 2017.07.10 今日學習任務 函式與陣列 今日任務完成情況 詳細說明本日任務是否按計畫完成,開發的 量 今日任務已按計畫完成。熟悉氣泡排序演算法,並用函式的方法實現 編寫含有函式的程式,並學習函式宣告 定義,有無形參 陣列傳參 今日開發中遇到的問題彙總 函式宣告放...

2018 7 12 暑期實訓日誌

姓名 範譯 日期 2018年7月12日 今日學習任務 陣列與指標 函式與指標 命令列引數 今日任務完成情況 詳細說明本日任務是否按計畫完成,開發的 量 按照規範跟隨老師進行了課堂 的除錯,量約100行 今日開發中出現的問題彙總錯誤 ifdef practice 3 include void init...

2017 7 17 暑期實訓日誌

姓名 範 譯 日期 2017 7 17 今日學習任務 微控制器入門 用led顯示鍵盤輸入數字 今日任務完成情況 詳細說明本日任務是否按計畫完成,開發的 量 經proteus 能基本實現功能 今日開發中出現的問題彙總 proteus使用延時函式時出現錯誤,後改用計時和中斷 今日未解決問題無 今日開發收...