最近看nlp的東西比較多。就拿現在google 基於神經網路做的 word2vec 作為部落格的開始吧，今後會陸陸續續補充內容。
基本是分4塊內容：
1.神經網路語言模型 (
2.語言模型分層優化(
3.word2vec 原理(
4.google word2vec **
看一點寫一點,先扔些參考資料鏈接上去。
附上在研究word2vec過程中的refer:
* 詞向量基本概念
* hierarchical probabilistic neural network language model
* a scalable hierarchical distributed language model
* distributed representations of words and phrases and their compositionality
* word2vec原始碼
* 迄今看到對word2vec原始碼最好的解釋
* 有道的同學寫的一篇解析，深入淺出，系統性強
與word2vec 原來word2vec那麼簡單
說到word2vec,它可謂非結構化資料裡面的佼佼者,尤其是在推薦和nlp當中,足以體現它的優勢所在,並且多年一直備受工業界喜愛.那麼word2vec到底是怎麼個原理的,發現身邊總是有很多人問,確不能準確的說出為什麼是兩個矩陣,到底是怎麼自動反向傳播的,以及對於softmax之後那麼大的維度資料,是...
word2vec學習筆記
常見面試問題 問題 1，介紹一下 word2vec word2vec 的兩個模型分別是 cbow 和 skip gram，兩個加快訓練的 loss 是 hs hierarchical softmax 和負取樣。假設乙個訓練樣本是又核心詞 w和其上下文 context w 組成，那麼 cbow 就是用...
Word2Vec知識總結
word2vec是乙個產生詞向量的模型，是乙個雙層的神經網路 非常善於找出詞彙的相似度，同時可用於處理之前的技術 像one hot編碼和wordnet 處理不了的語義關係。它可以利用神經網路從大量的無標註的文字中提取有用資訊。我們也可以將它看成是乙個工具，它裡面包含了三種重要的模型 1 nnlm 神...