基於深度學習：基於深度學習的文字分類綜述（多種深度學習演算法模型）
本人的主要研究方向為基於深度學習的多標籤文字分類，在此給出用於文字分類的三種神經網路結構：cnn、rnn、transformer，也可以說是四種（算上nn）。
nn，傳統的神經網路模型，例如fasttext。
cnn，卷積神經網路模型。將影象界流行的網路結構用於文字處理，鼻祖為textcnn。之後基於cnn，又出現了charcnn、vdcnn等等。
rnn，迴圈神經網路模型。rnn用於文字處理，有天然的優勢，但普通rnn會有梯度**/梯度消失的問題，所以有了改進的rnn模型：lstm、gru。lstm/gru是基於門的概念來解決rnn網路的梯度問題。基於上下文的概念，又有bi-lstm/bi-gru等。rnn\lstm\gru
transformer，17年谷歌提出的新型的網路結構，是比cnn/rnn更為強大的特徵提取器。transformer的關鍵點是自注意力機制。transformer原理詳解
在此給出目前看過的網路模型。
待續》：自然語言處理中還有乙個很重要的機制，即注意力機制，將注意力機制與rnn/cnn網路相結合可以有很好的效果。所謂注意力，就是專注於區域性的特殊資訊。
基於可利用上下文資訊的rnn（bi-rnn）。
另外基於transformer/bert的文字分類模型。
文字分類實戰：實戰
Linux三種網路 vmware三種網路模式
nat 網路位址轉換 預設使用vmnet8 原理 nat是network address translate的簡稱 nat計數應用在internet閘道器和路由器上，比如192.168.0.123這個位址要訪問internet，它的資料報就要通過乙個閘道器或者路由器，而閘道器或者路由器擁有乙個能訪問...
機器學習004 迴圈神經網路實現與文字分類問題
本週主要目標在於實現乙個可用的迴圈神經網路。主要內容包括 迴圈神經網路以及求導 bptt 多層迴圈神經網路 文字向量化以及乙個小的文字分類實踐。實現過程中使用了 numpy 用於矩陣運算。文章目的在於脫離程式語言束縛去學習演算法，因此可以使用其他程式語言，同時語言中應該包含以下元件 矩陣乘法 矩陣分...
神經網路演算法中的三種函式
進行非線性變換，假如我們構建了乙個多層的神經網路，那它每一層做的其實都是乙個線性加權求和的運算，因此這個神經網路就只能做線性分類。當我們對每層網路中的各個節點都做非線性變換 使用啟用函式 時，那麼這個神經網路就可以做非線性分類任務了。下面我列舉了的三種常用的啟用函式 sigmoid啟用函式 sigm...