nlp (natural language processing) 是ai的乙個分支，當前，使用最廣泛的主要神經網路有：迴圈神經網路、卷積神經網路、遞迴神經網路
rnns是處理nlp中普遍存在的動態輸入序列的乙個技術方案。
cnns是計算機視覺領域的一項技術，現在也開始應用於語言。文字的cnns只在兩個維度上工作，其中的濾波器(卷積核)只需沿時間維度移動。cnns比rnn更可並行化，因為其在每個時間步長的狀態只依賴本地上下文(通過卷積運算)，而rnn需依賴過去所有的狀態。使用膨脹卷積可以擴大cnn的感受視野，使網路有能力捕獲更長的上下文，卷積也可以用來加速lstm。
rnn&cnn均視語言為序列，但從語言學角度看，其本質是層次化的：單詞被組合成高階短語和從句，這些短語和從句本身可以根據一組規則遞迴組合。遞迴神經網路即產生於將句子視為樹的語言學思想。
遞迴神經網路從下到上構建序列的表示，這一點不同於從左到右或從右到左處理句子的 rnn。在樹的每個節點上，通過組合子節點的結果來計算新的結果。由於樹也可以被視為在 rnn 上強加不同的處理順序，所以 lstm 自然地也被擴充套件到樹上。
rnn 和 lstm 可以擴充套件到使用層次結構。單詞嵌入不僅可以在本地學習，還可以在語法語境中學習；語言模型可以基於句法堆疊生成單詞；圖卷積神經網路可以基於樹結構執行。
NLP系列 6 神經網路基礎
前饋神經網路是一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層 各層間沒有反饋。神經網路的第一層。它接收輸入訊號 值 並將其傳遞至下一層，但不對輸入值執行任何運算。它沒有自己的權重值和偏置值。隱藏層的神經元 節點 通過不同方式轉換輸入資料。乙...
NLP實戰 特徵工程 神經網路
神經網路 類別特徵做count，對於某類中數值型特徵存在區間段劃分的情況也可做count f1權重調整 將某一樣本的部分特徵做成w2v，增加聚類效果，強化近似類別之間的差異 初賽資料跟複賽資料concat 類別特徵一樣且可用 軌跡特徵做diff 差值特徵強時序性 閾值優化 蒙特卡洛搜尋 scipy....
NLP系列 8 迴圈神經網路（RNN）
人的記憶原理也是與當前輸入和之前的輸入有關的。每個 的結果都會放到下乙個輸入裡進行運算,與下一次的輸入一起來生成下一次的結果。聽到一句話 我來找你 是在沒聽到乙個字或詞的時候大腦都會結合之前聽到的和現在聽到的組合起來，形成語句的理解。下面這種網路與我們的大腦對語句的理解過程很相似。迴圈神經網路，re...