對於某類任務(task,簡稱t)和某項效能評價準則(performance,簡稱p),如果乙個電腦程式在t上,以p作為效能的度量,隨著很多經驗(experience,簡稱e)不斷自我完善,那麼我們稱這個電腦程式在從經驗e中學習了
1、感知機部分:
可以看到,乙個感知器有如下組成部分:
(1)輸入權值 :乙個感知器可以接收多個輸入,每個輸入上有乙個權值wi此外還有乙個偏置項,就是上圖中的w0
(2)啟用函式:常見啟用函式有softmax函式,sigmoid函式,tanh函式,relu函式, leaky relu(下面附上散點圖**和圖):
softmax函式:
import numpy as np
import matplotlib.pyplot as plt
import math
def softmax(x):
x=np.exp(x)
y=x/np.sum(x) #函式定義
sigmoid函式:
// import numpy as np
import matplotlib.pyplot as plt
def sigmoid(z):
return 1.0 / (1.0 + np.exp(-z)) #函式定義
tanh函式:
import numpy as np
import matplotlib.pyplot as plt
def tanh(x):
return np.tanh(x) #函式定義
relu函式:
import numpy as np
import matplotlib.pyplot as plt
def relu(z):
return np.array([x if x > 0 else 0 for x in z]) #函式定義
leaky relu函式:
import numpy as np
import matplotlib.pyplot as plt
def leakyrelu(z,a=0.3):
return np.array([x if x > 0 else a * x for x in z]) #函式定義
(3)輸出 感知器的輸出由下面這個公式來計算(啟用函式定義為f(x)):
y=f(w*x+b)
2、神經網路:
先提及個體基礎:神經元模型
下圖是乙個典型的神經元模型:包含有3個輸入,1個輸出,以及2個計算功能。
注意中間的箭頭線。這些線稱為「連線」。每個上有乙個「權值」
神經元和感知器本質上是一樣的,只不過我們說感知器的時候,它的啟用函式是階躍函式;而當我們說神經元時,啟用函式往往選擇為sigmoid函式或tanh函式。
神經網路:
神經網路其實就是按照一定規則連線起來的多個神經元。上圖展示了乙個全連線的神經網路。們可以發現它的規則包括:
神經元按照層來布局。最左邊的層叫做輸入層,負責接收輸入資料;最右邊的層叫輸出層,我們可以從這層獲取神經網路輸出資料。輸入層和輸出層之間的層叫做隱藏層,因為它們對於外部來說是不可見的。
同一層的神經元之間沒有連線。
第n層的每個神經元和第n-1層的所有神經元相連,第n-1層神經元的輸出就是第n層神經元的輸入。
注意每個連線都有乙個權值!!!。
參考資料
關於CURL的初步認識
下面我覺得用來展示curl比較直觀 所謂的curl就是客戶端訪問了伺服器1,那麼伺服器1又模擬了服務客戶端去訪問了伺服器2,然後拿到結果後一層層返回,並且curl以第三方的擴充套件庫存在所以要用到必須要開啟這個擴充套件.分為get訪問和post訪問 echo t1.php 使用curl模擬get請求...
深度學習初步了解
深度學習興起,源於以下3個方面 傳統機器學習在處理原始形態的自然資料方面存在很大的侷限性。它需要技藝高超的工程師和經驗豐富的領域專家設計特徵提取器,將原始資料轉化為合適的中間表示形式或特徵向量,學習子系統,即分類器,然後對輸入模型進行檢測或分類。而深度學習較傳統機器學習的一大優勢是 它不需要人工設計...
深度學習 初步概念
今天開始學習深度學習 1 選擇框架 學習庫,例如tensorflow caffe keras 為了實現eco跟蹤演算法 一種基於相關濾波 深度特徵的演算法 中的vggnet模型 神經網路模型,常見的還有googlenet 從應用的方便性選擇了caffe。2 硬體 硬體為實驗室現有平台 第二天1 ec...