詞向量的設計演算法：
1：one-hot represention:就是用乙個很長的向量來表示乙個詞，向量的長度為詞典d的大小n，向量的分量只有乙個1，其餘全為0.1的位置對應該詞在詞典中的索引。但這種詞向量表示有一些缺點，如容易受維數災難的困擾，尤其是將其用於deep learning 場景時；也不能能很好的刻畫詞與詞之間的相似性。
2：:distributed representation:通過訓練將某種語言中的每乙個詞對映成乙個固定長度的短向量，所有這些詞向量構成乙個詞向量空間，而每一向量可以視為該空間的乙個點，在這個空間上引入距離，就可以根據詞之間的距離來判斷它們之間的（語法語義）相似性了。word2dec就是採用的這種詞向量。
模型：1：基於hierarchical softmax 的cbow模型（continuous bag-of-words model）:
2:基於hierarchical softmax 的skip-gram模型（continuous skip-gram model）:
3:基於negative sampling 的cbow模型（continuous bag-of-words model）:
4:基於negative sampling 的skip-gram模型（continuous skip-gram model）:
MATLAB的dec2bin函式的使用
matlab幫助文件解釋 function dec2bin convert decimal integer to its binary representation usage dec2bin d returns the binary representation of d as a charact...
word2vec 的相關概念
word2vec 將詞對映到乙個詞空間中，故 word2vec 被稱為詞嵌入 並且以詞空間的維度組成乙個向量，故 word2vec 也被稱之為詞向量。word2vec 於詞的分布假說，詞的語義由其上下文所決定。思考 詞的語義並不一定是由其上下文所決定的，例如說話人的語氣也會導致不同的意思，以及不同身...
對word2vec skip gram模型的理解
word2vec是從大量文字語料中，用無監督學習的方式來學習語義知識的一種模型，廣泛用於nlp。其實就是通過學習文本來用詞向量的方式表徵詞的語義資訊。embedding其實就是乙個對映，將單詞從乙個空間對映到另乙個新的空間中。直觀理解 cat 貓 這個單詞與kitten 小貓 在語義上很相近，而do...