深度學習概述《一》深度學習知識結構介紹

2021-08-09 14:01:04 字數 1455 閱讀 9354

本系列基本內容:

1. 深度學習知識結構圖

2. 追本溯源:深度學習基礎

3. 什麼正在發生?

4. 乙個深度學習開發例項的分析

目的:1.了解深度學習發展

2. 串聯深度學習基本概念

3. 掌握深度學習模型設計基本思想

一、深度學習知識結構圖

首先我們以線性回歸和神經網路為出發點,因為它們是整個深度學習的資料基礎。 1、

線性回歸是根據資料擬合乙個線性模型的過程,即

利用數理統計中的回歸分析,來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法之一。擬合目標的方法有很多種,主要使用的是梯度下降的方式。線性回歸主要是解決資料呈線性分布時的**問題,如天氣,空氣濕度等來推測未來的趨勢,但很多情況下使用線性回歸來**的效果是不理想的,因此我們需要加入一些非線性的激勵(通過引入非線性的方程使得模型擬合時具有非線性的能力)。

2、線性模型通過非線性的激勵可以形成

神經網路

。因此如果是非線性的問題,那麼用神經網路模型可以更好的解決。神經網路的基本單位是神經元,這些神經元實際上是一些小的線性模型加上非線性激勵的過程。

傳統的神經網路在時間和空間上進行擴充套件得到了cnn和rnn。 其中

cnn叫做卷積神經網路,神經網路的神經元在計算時使用二維的卷積和的方式進行,使得運算在二維空間上進行擴充套件。而遞迴神經網路則是在時間上進行擴充套件。

rnn叫做遞迴神經網路,和cnn相比,遞迴神經網路是在時間上進行擴充套件,即考慮當前問題的同時也要考慮上乙個狀態的結果作為當前狀態的輸入。因此是傳統神經網路在時間上的擴充套件得到的。

因為rnn只考慮上乙個狀態,而

lstm(

long short-term memory

)改進,它不僅考慮上乙個計算狀態,還會考慮很久之前的狀態。

在此基礎上,我們就可以據此完成很多任務。

其中cnn的應用相對來說更加廣泛,大多數用與影象的處理。

1) 目標分類, cnn通過訓練後就可以得到用於目標分類基本模型,在這個模型的基礎上通過遷移學習可以用於不同的具體目的的事件,包括人臉識別,物品識別,場景識別,文字識別等等。

2) 而rnn由於它是在時域上的擴充套件,如果資料帶有時間的屬性,那麼使用rnn的效果非常好,比如說話時詞語之間前後時間關係的相互依賴。因此它的直接應用就是nlp-自然語言處理。

總結:cnn-用於影象處理,rnn用於語音處理。

cnn的其他應用:

1) cnn還可以用於生成

對抗網路,即,cnn是可以用於識別乙個是什麼,現在,我們使用cnn去生成乙個,然後用cnn判別網路去判斷之前生成的是不是對的,這兩個任務進行乙個對抗,慢慢的,生成網路所產生的越來越正確,判別網路判別的效果越來越準確。

2) 增強學習。

以上就是對整個深度學習知識體系的概要介紹。 

深度學習概述

深度學習概述 1.深度學習定義 深度學習 deep learning 起源於人工神經網路,它的定義 通過組合低層特徵形成更加抽象的高層特徵或類別,從而從大量的輸入資料中學習有效特徵表示,並把這些特徵用於分類 回歸和資訊檢索的一種技術。何謂為深度 網路學習得到的函式中,非線性運算組合水平的數量。2深度...

深度學習概述

rnn,recurrent neural network,迴圈神經網路。在rnn中,神經元的輸出可以在下乙個時間戳直接作用到自身,即第i層神經元在m時刻的輸入,除了 i 1 層神經元在該時刻的輸出外,還包括其自身在 m 1 時刻的輸出。適用場景 自然語言處理 語音識別 手寫體識別等。因為樣本出現的時...

深度學習概述

part 5 深度學習的應用 part 6 總結與展望 文章 常虹,山世光.深度學習概述 j 資訊科技快報.深度學習是相對於svm knn gradient boost等淺層學習演算法而言的。深度是指乙個流向圖 flow graph 從輸入到輸出所走的最長的路徑。例如svm深度為2,第一層是核輸出或...