感知機（perceptron）是二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別（取1和0）。感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面.
其中，w0是乙個偏差值，這個條件是必要的，如果沒有這個條件，切平面會經過原點。我們需要這個偏差值控制決策平面到原點的距離。
下圖中感知機實現了與門和或門的功能
為了求得合適的超平面，我們匯入了基於誤分類的損失函式，利用梯度下降法 對損失函式進行最優化（最優化）。
但利用梯度下降演算法收斂到正確的權值的前提條件是訓練的樣本線性可分
如果訓練的樣本線性不可分，我們需要借助delta 學習規則。
delta 的關鍵思想是：利用梯度下降來搜尋可能的權向量的假設空間，以找到最佳擬合訓練樣例的權向量
其中，td是期望輸出，od是實際輸出。
批量梯度下降演算法思路
隨機梯度下降演算法
乙個樣本更新一次引數
下面是異或門的分類，從圖中可以明顯看出，這是線性不可分的
我們用多層感知機把複雜的問題拆開，就能解決問題。
xor的例子中輸出層對映到隱藏層後，就轉化為了乙個線性可分的問題。
其中，我們經常使用sigmoid函式，它被用作神經網路的閾值函式，將變數對映到0,1之間。
神經網路的學習演算法—反向傳播演算法
誤差對權重求偏導
elman神經網路
elman網路可以看作是乙個具有區域性記憶單元和區域性反饋連線的遞迴神經網路它的主要結構是前饋連線, 包括輸入層、 隱含層、 輸出層, 其連線權可以進行學習修正;反饋連線由一組「結構 」 單元構成,用來記憶前一時刻的輸出值, 其連線權值是固定的。在這種網路中, 除了普通的隱含層外, 還有乙個特別的隱含層,稱為關聯層 (或聯絡單元層 ) ;該層從隱含層接收反饋訊號, 每乙個隱含層節點都有乙個與之對應的關聯層節點連線。關聯層的作用是通過聯接記憶將上乙個時刻的隱層狀態連同當前時刻的網路輸入一起作為隱層的輸入, 相當於狀態反饋。隱層的傳遞函式仍為某種非線性函式, 一般為 sigmoid函式, 輸出層為線性函式, 關聯層也為線性函式。
hopfield神經網路
hopfield神經網路是一種遞迴神經網路
演算法學習筆記六 dp
題目描述 在乙個n n的矩陣中，每個格仔都有乙個整數，pipi位於矩陣的左上角，它想知道有多少條不同合法路線達到矩陣右下角。行走規則如下 1 每次只能往下或往右走一步。2 格仔中的整數表示從該點出發一步必須跨越的距離。ps 對 1 和 2 條件的解釋 若此時在 x,y 並且格仔上的數字為 k 則下一...
資料結構與演算法學習筆記六 選擇排序演算法
選擇排序演算法原理 首先在未排序的序列中找到最大或最小值，將它存放在起始位置，然後再從剩餘未排序序列元素中繼續尋找最大或最小值，將找的最大或最小值存放在已排序的序列尾部。以此類推，直到所有的元素均排序完畢。選擇排序演算法的python實現 如下 def select sort alist 選擇排序 ...
資料探勘筆記（一） 清華大學 資料探勘 理論與演算法
資料探勘筆記 一 本筆記在學習 清華大學 資料探勘 理論與演算法 時記錄 資料儲量急劇增加，在2000年後資料發生了從模擬到數字的顯著轉變。同時，算力也在大幅度增長。international conference on data mining international conference on...