最近在看回聲狀態網路（echo state network）的內容，注意到中文搜尋引擎搜不到關於有關echo state network通俗的講解，打算寫一下關於esn的乙個基本教程。本文先用一小段簡單介紹esn是什麼，然後用公式來表示這種網路，並說明他的優缺點，最後用乙個可執行的簡單例子來演示一下esn的效果。
esn是rnn的一種，也是由輸入層，隱藏層，輸出層組成，並且在隱藏層到隱藏層之間有乙個連線，用來保留前面時刻留下的資訊。不同於rnn，esn的輸入層到隱藏層、隱藏層到隱藏層的連線權值是隨機初始化，並且固定不變。在訓練的過程中，我們只需要去訓練隱藏層到輸出層的連線權值。這就變成了乙個線性回歸問題，所以esn訓練起來非常快。
esn的神經網路如圖所示，儲備池就是常規神經網路中的隱藏層。輸入層到儲備池的連線為win，儲備池到下乙個時刻儲備池狀態的連線為w，儲備池到輸出層的連線為wout。另外還有乙個前一時刻的輸出層到下乙個時刻的儲備池的連線wback，這個連線不是必須的（圖中用虛線表示），由於這是乙個入門級的基礎教程，所以在後面的公式和例子**中都不會涉及這乙個連線。
圖中所示，t
t時刻的輸入為u(t)
u(t)，一共k個節點，儲備池狀態為x(t)
x(t)，n個節點，輸出為y(t)
y(t)，l個節點。
每乙個時刻輸入u(t)
u(t)，儲備池都會更新狀態，儲備池的狀態更新方式為：
x(t+1)=f(winu(t+1)+wx(t))
x(t+1)=f(winu(t+1)+wx(t))
這個式子裡，win
win和w
w都是在最初建立網路的時候隨機初始化的，並且固定不變。u(t+1)
u(t+1)是這個時刻的輸入，x(t)
x(t)是上乙個時刻的儲備池狀態，在t=0時刻可以用0初始化。f
f是乙個啟用函式，通常使用tanh
tanh。
在建模的時候，和一般的神經網路一樣，會在連線矩陣上加上乙個偏置量，所以輸入的u
u是乙個長度為1+k的向量，win
win是乙個[1+k,n]的矩陣，x
x是乙個長度為n的向量，w
w是乙個[n,n]的矩陣。
回聲狀態網路的輸出方式為：
y(t)=wout[1;u(t);x(t)]
y(t)=wout[1;u(t);x(t)]
有了儲備池狀態，再確定了esn的輸出方式之後，就可以根據目標輸出ytarget
ytarget來確定wout
wout來讓y(t)
y(t)和ytarget(t)
ytarget(t)的差距盡可能的小。這是乙個簡單的線性回歸問題，計算的方法有很多種，不再贅述。
到這裡，我們就完成了esn的訓練工作。整個網路只需要訓練wout
為了讓這個網路能夠正常的運轉，還有一些地方是需要注意的：
之所以叫回聲狀態網路，是因為前面時刻輸入的資訊會通過w
w回迴盪在儲備池中，就像回聲一樣。為了避免儲備池狀態**，w
w的特徵值必須要小於等於1。這也就引入了esn中譜半徑的概念：w
w的最大特徵值。
由於網路中只有wout
wout是可變的，為了盡可能多的表示不同的資料規律，w
w必須要設定的非常大，才能從中找出各種不同的特徵進行輸出。另一方面，w
w的稀疏性也很重要，hinton在多倫多大學的公開課裡解釋是：
建立乙個鬆散的連線，這樣某一資訊可以在網路中的一小部分迴盪，而不會迅速的傳播到其他部分。我不是特別的理解。希望有人解釋一下。
最後引用乙個例子來徹底理解最基本的esn。
資料就是一維的，**中每次輸入長度為1，**資料中後一位的值，當然長度也是1。
Docker基礎教程 網路基礎配置
啟動容器時，如果不知道對應引數，在容器外部是無法通過網路訪問容器內部的。可以通過 p或 p引數指定埠對映。使用 p時，docker會隨機對映乙個49000 49900的埠到容器內部開放的埠。p會對映到指定的埠，支援的格式 主機埠 容器埠 主機埠 容器埠 格式將本地埠對映到容器埠的命令如下 plain...
XSL基礎教程
xsl基礎教程 一 http www 128.ibm.com developerworks cn xml ccidnet xslfund index1.html xsl基礎教程 二 http www.ibm.com developerworks cn xml ccidnet xslfund inde...
ps基礎教程
ps基礎教程 軟體簡介 推薦版本 流行多用的版本cs2 cs5，推薦cs3和cs5，cs2版本較舊，不推薦使用。基礎教學目錄 第一課 photoshop工具欄的使用01 第二課 工具欄的使用02 第三課 photoshop圖層 第四課 色彩原理和圖層的混合模式 第五課 圖層的樣式 第六課 圖層蒙版和...