深度學習方法簡要理解

2021-08-31 16:10:15 字數 756 閱讀 5270

遷移學習(transfer learning)

顧名思義就是就是把已學訓練好的模型引數遷移到新的模型來幫助新模型訓練。考慮到大部分資料或任務是存在相關性的,所以通過遷移學習我們可以將已經學到的模型引數(也可理解為模型學到的知識)通過某種方式來分享給新模型從而加快並優化模型的學習效率不用像大多數網路那樣從零學習(starting from scratch,tabula rasa)。簡單來講我們首先利用大量相關資料進行訓練,再用當前資料空間中的少量資料進行微調。

損失函式(loss function)

是用來估量你模型的**值f(x)與真實值y的不一致程度,它是乙個非負實值函式,通常使用l(y, f(x))來表示,損失函式越小,模型的魯棒性就越好。但不是越小越好。

風險函式(risk function)

風險函式是損失函式的期望,這是由於我們輸入輸出的平均損失稱作經驗風險(empirical risk),即經驗風險最小化

目標函式(objective function)

我們不僅要讓經驗風險最小化,還要讓結構風險最小化。這個時候就定義了乙個函式模型的複雜度,在機器學習中也叫正則化(regularization)。常用的有

到這一步我們就可以說我們最終的優化函式是:

深度學習方法

目前大多數深度估計方法是通過2d的到2.5d的表面形狀 場景深度 比較成功的基於幾何影象方法包括 structure from motion,shape from x,monocular stereo,binocular stereo和multi view stereo 其中shape from x...

SR彙總 基於深度學習方法

1 srcnn fsrcnn learning a deep convolutional network for image super resolution,eccv2014 accelerating the super resolution convolutional neural networ...

一種深度學習方法 遷移學習

接下來我會介紹關於遷移學習的以下內容。它是什麼?它是如何工作的?為什麼使用它?什麼時候使用?轉移學習的方法 訓練模型 使用預先訓練的模型 和特徵提取 遷移學習 遇到乙個新問題,不是從頭訓練乙個網路模型,而是在現有的預訓練模型上,再次訓練或者直接使用。因為他可以用較少的資料來訓練深度神經網路,如果你資...