本文是聽煉數成金的黃老師機器讀心術之深度學習大戰自然語言處理的課程總結的筆記和讀後感。
nlp技術發展階段
nlp的困難
統計方法的特點：
語言模型
通俗地說就是通過語料，計算某個句子出現的概率。計算方式如下圖。
由於上述計算方式太複雜。所以進行適當的簡化，就有了 n-gram，下面以2-gram為例具體解釋。
給定句子：mark wrote a book增加標記：mark wrote a book
bos 表示句子開始，eos表示句子結束。
p(mark wrote a book) = p(mark|)×p(wrote|mark)×p(a|wrote)×p(book|a)×p(|book)
剩下的問題就是如何計算：p(wi|wi-1)的問題了。如下圖。
資料平滑。假如乙個詞，在語料中沒有出現怎麼辦？那麼安照上面公式。c(wi-1wi)=0,那麼
p(wi|wi-1
)=0，這顯然是不合理的。所以需要進行資料平滑。
加一平滑法：
基本思想: 每一種情況出現的次數加1。
例如，對於一元語法，設w1, w2, w3 三個詞，概率分別為：1/3, 0, 2/3，加1後發成2/6, 1/6, 3/6。
應用於深度學習和自然語言處理的注意機制和記憶模型
深度學習近期的乙個趨勢是使用注意機制 attention mechanism openai研究負責人ilya sutskever在最近的一次採訪中提到了注意機制是最令人激動的進步之一，而且它們將就此扎根下來。這聽起來令人興奮不已，但注意機制到底是什麼？神經網路中的注意機制大體是基於從人類視覺中發現的...
自然語言處理深度學習的7個應用
自然語言處理領域正在從統計方法轉變為神經網路方法。自然語言中仍有許多具有挑戰性的問題需要解決。然而，深度學習方法在一些特定的語言問題上取得了最新的成果。這不僅僅是深度學習模型在基準問題上的表現，基準問題也是最有趣的 事實上，乙個單一的模型可以學習詞義和執行語言任務，從而消除了對專業手工製作方法渠道的...
自然語言處理深度學習的7個應用
翻譯 無阻我飛揚 自然語言處理領域正在從統計方法轉變為神經網路方法。自然語言中仍有許多具有挑戰性的問題需要解決。然而，深度學習方法在一些特定的語言問題上取得了最新的成果。這不僅僅是深度學習模型在基準問題上的表現，基準問題也是最有趣的 事實上，乙個單一的模型可以學習詞義和執行語言任務，從而消除了對專業...