lstm rnn長短期記憶rnn
自編碼autoencoder
生成對抗網路gan
梯度下降 gradient descent
人體900億神經細胞組**體神經網路。
神經網路的構建：
可稱之人工神經元的組合，在外部刺激上不斷改變自身。
人工神經網路可以分為輸入層，隱藏層(資訊的加工處理層)，輸出層。
中間的「黑盒層」做了什麼事呢？輸入資訊從一種特徵(feature)轉換成另外一種特徵，每一層都在做這種事。中間的這些特徵可能是我們無法理解的，但是計算機卻非常容易理解。最終輸出的結果，也是一種「特徵」，只不過是我們需要的那種。
給上千萬個資訊，讓計算機進行學習。最開始部分神經元啟用，進行某種嘗試，得到的結果可能是錯的，但是通過不斷反饋，一些神經元開始變得不活躍，另一些則可能變得活躍起來（神經元的函式引數發生了改變）。迴圈往復下來，計算機的神經反饋網路越來越精準。
convolutional neural networks，用於計算機識別、nlp，藥物發明等。
用途recurrent neural networks，處理序列化資料，比如語音。
現在有這麼些個資料，data0，data1…，這些資料之間是有先後關係的，因此結果也是有先後關係的。rnn要做的就是處理完當前的資料後，帶著結果到下乙個資料分析節點，一起分析下一步要得到的結果。就像下面這張圖顯示的那樣：
應用對於不同的應用，輸入和輸出的個數、位置可能不一樣。
比如描述：給乙個，輸出一段話來描述它。只有乙個輸入，有很多輸出。
翻譯：輸入中文，輸出英文
普通rnn的弊端：
梯度瀰散：誤差反向傳遞的時候每次都要乘以乙個引數w，如果w<1，那麼穿的到初始位置也會是乙個接近0的數。誤差也就相當於消失了。
梯度**：誤差反向傳遞過程中w>1，返回到初始節點就成了無窮大的數字，導致無法處理。正是因此，普通rnn無法回憶長期記憶。
lstm：輸入控制、輸出控制、忘記控制
有主線記憶、分線記憶（long short term memory）。
主線記憶的更新取決於輸入和忘記控制。如果輸入的新記憶對主記憶有很大影響，那麼就會忘記控制會忘記某些主線記憶，按比例替換成新記憶。
最後的輸出，輸出控制根據目前的主線記憶和分線記憶判斷到底要輸出什麼。
就是神經網路的非監督學習。
訓練神經網路需要大量的資料，如果直接讓神經網路處理這些資料，那麼會非常吃力。提取出原始資訊的精髓——資訊量小卻包含了原來所有關鍵資訊的檔案——然後讓神經網路處理，能大大減小神經網路的負擔。
這張裡左邊是原始資料，經過左邊的處理得到了壓縮的資料，也就是編碼；右邊的是解碼，用這些關鍵少量資訊恢復原始資訊。當然，也有誤差在不斷反向傳遞，不斷修改模型以變得更準確。
當然，常見的只有左邊的部分。讓編碼器整理出原始資訊的精髓，交給另外乙個神經網路去學習。這樣能大大減小神經網路的負擔。
用以「憑空」生成有意義的作品。
generator根據隨機數生成有意義的資料，discriminator會學習判斷那些是真實資料，哪些是生成資料，並將學習的經驗反向傳遞給generator，讓generator能根據隨機數生成更接近真實資料的資料。
optimization：優化問題。
假如誤差error的方程中有w1,
w2,.
..w_1,w_2,...
w1,w2
,..
.這些神經網路中的引數，以及x,y
,z,.
..x,y,z,...
x,y,z,
...等資訊的維度。梯度下降，就是沿著梯度下降（數學上就是求導，沿著導函式減小）的方向尋找。
我們往往只能找到區域性最優解，而非全域性最優解。但是也能找到乙個足夠優秀的區域性最優解，代替全域性最優解完成任務。
2019-05-09 17:42:29
機器學習 一 基礎術語概念
什麼是機器學習？機器學習是一門類似於人類根據生活中的經驗 之後可能會發生的結果的學科，好比我們從小可能接觸到的諺語 燕子低飛蛇過道，大雨不久就來到。在這裡，燕子低飛蛇過道就是人們在大雨前常常觀察到的一種現象，久而久之人們便發現往往出現這種現象時，馬上就會下起大雨 從而成為了人們生活中的一種經驗。而即...
機器學習基礎概念
聚類 將本身沒有類別的樣本聚集成不同的組，這樣的一組資料物件的集合叫做簇，並且對每乙個這樣的簇進行描述的過程，他的目的是使得屬於同乙個簇的樣本之間應該彼此相似，而不同簇的樣本應該足夠不相似。資料預處理 在資料探勘之前使用，大大提高了資料探勘的質量 處理缺失值 將含有缺失值的記錄刪除 根據變數之間的相...
機器學習基礎概念
資料量大 tb pb eb zb yb hdfs 速度快 資料增長速度快 資料處理速度快 價值密度低 密度 有價值資料 all 機器學習演算法解決 人工智慧 機器學習 深度學習的關係 資料 資料分析 資料探勘 機器學習 致力於研究如何通過cpu和gpu 圖形處理器 的計算，利用經驗 資料來改善 計算...