深度學習 深度學習的四大元件

2021-09-04 22:10:26 字數 1027 閱讀 5495

這四大元件就是:

這四者的關係描述如下:

多層組合在一起形成了網路,網路的目的是將輸入資料對映為**值,通過損失函式將**值和目標值比較,得出損失值,用來衡量網路的效能,而優化器的職責是迭代優化損失值來更新網路權重(bp演算法)。

層:構建網路的樂高積木

深度學習模型的最常見用法是層的線性堆疊,將單一輸入對映為單一輸出,即資料從一端進,然後從另一端出。

但是這不是唯一,還有其他的網路拓撲型別,比如:

在機器學習的定義中我們已經學過,機器學習是在乙個預先定義好的假設空間中,利用反饋訊號來尋找對輸入資料的有用的表徵。網路的拓撲結構定義了乙個假設空間。

這個假設空間就被限定為一系列特定的張量計算,我們為了做好深度學習模型,就需要為這些張量計算的權重找到一組合適的值。

選擇正確的網路架構更像是一門藝術而不是科學。雖然有一些最佳的實踐和原則,但只有動手實踐才能成為合格的神經網路架構師。

損失函式與優化器

在確定了網路架構以後,還需要選擇兩個引數:

有多個輸出的神經網路可能具有多個損失函式,即每個輸出對應乙個損失函式,但是梯度下降必須基於單個標量損失值。所以,針對具有多個損失函式的網路,我們需要將所有損失函式取平均,使其成為單個標量值。

**選擇正確的目標函式對解決問題極其重要。**如果目標函式與完成當前任務不是完全相關,則網路得出的結果很可能不符合預期。

那選擇損失函式有哪些經驗指導呢?

對於分類、回歸、序列**等問題,都有很好的指導原則來幫助我們選擇正確的損失函式。比如:

所以對於絕大部分問題,都已經有了損失函式的選擇原則,除非是真的全新的問題,才需要自主開發目標函式。

換句話說,如果你開發的目標函式比現有的經驗好,絕對是一篇重量級的**。

end.

參考:《deep learning with python》

深度學習四大問題

深度學習的歷史可以追溯到幾十年前,但直到大約5年前才得到了較多的關注。其中,2012年是關鍵的一年,幾乎很多東西都發生了改變,包括三人基於imagenet做的識別影象的深度卷積神經網alexnet的分布。如今,在語音識別 影象識別 語言翻譯等領域,深度學習取得了很多的成果。就像其他主要技術成就一樣,...

深度學習四大經典書籍

我們都知道現在機器學習 深度學習的資料太多了,面對海量資源,往往陷入到 無從下手 的困惑出境。而且並非所有的書籍都是優質資源,浪費大量的時間是得不償失的。今天,給大家推薦這四本好書。推薦指數 本書自出版以來收到眾多好評,因為是 keras 作者寫的書,所以全書基本圍繞著 keras 講深度學習的各種...

Keras深度學習(四)

今天測試前幾天所提到的演算法 1.使用keras定義簡單的神經網路 from future import print function import numpy as np from keras.datasets import mnist from keras.models import seque...