glove 的訓練過程
實質上還是監督學習：雖然 glove 不需要人工標註為無監督學習，但實質還是有 label 就是 log(xij) 。
向量 ω 和 ω~ 為學習引數，本質上與監督學習的訓練方法一樣，採用了 adagrad 的梯度下降演算法，對矩陣 x 中的所有非零元素進行隨機取樣，學習曲率（learning rate）設為 0.05，在 vector size 小於 300 的情況下迭代了 50 次，其他大小的 vectors 上迭代了 100 次，直至收斂。
最終學習得到的是兩個詞向量是 ω 和 ω~ ，因為 x 是對稱的（symmetric），所以從原理上講 ω 和 ω~ ，是也是對稱的，他們唯一的區別是初始化的值不一樣，而導致最終的值不一樣。所以這兩者其實是等價的，都可以當成最終的結果來使用。但是為了提高魯棒性，我們最終會選擇兩者之和 ω + ω~ 作為最終的 vector（兩者的初始化不同相當於加了不同的隨機雜訊，所以能提高魯棒性）。
glove 損失函式
詞向量評價與再訓練
內部評價是我們在詞向量訓練技術中的具體的中間子任務上的評價，比如模擬,這些子任務通常畢竟簡單快速，能夠幫助我們理解詞向量，對於詞向量的效能有具體的數值指標。這樣做主要是因為乙個具體的機器學習任務通常需要很多的時間和計算資源來完成，且詞向量的性質會受到機器學習模型的好壞的干擾，所以有時候我們沒有必要去進行乙個具體的任務。
外部評價就是在真實任務上的評價，詞向量的評價依賴於任務的結果，畢竟我們訓練詞向量是為了完成具體任務，所以這也是必不可少的，並且很多時候我們需要根據具體的任務來選擇合適的詞向量訓練方法。然而當某個具體任務的模型表現很差時，我們常常並不能弄清楚到底是那部分有問題，所以還需要內部評價的支撐。
詞向量 如何評價詞向量的好壞
詞向量 詞嵌入或者稱為詞的分布式表示，區別於以往的獨熱表示，已經成為自然語言任務中的乙個重要工具，對於詞向量並沒有直接的方法可以評價其質量，下面介紹幾種間接的方法。對於詞向量的評價更多還是應該考慮對實際任務的收益，脫離的實際任務很難確定a模型就一定比b好，畢竟詞向量方法更多是一種工具。學生 上課 0...
詞向量簡介
1.什麼是詞向量？每乙個詞典 裡面存著一堆單詞，例如 用nn.embedding模組進行詞嵌入 輸出的就是對應的詞向量。2.什麼是 nn.embedding torch.nn.embedding理解 看這個解釋 3.如何訓練乙個詞向量？skip gram 模型 雖然這個任務並沒有什麼卵用，但它可以幫...
詞向量與句向量概述
比較常見的詞向量表示方式 glove fasttext wordrank tfidf bow word2vec 詞向量一般看作是文件特徵，不同詞向量有不同用法，主要有四類詞向量 1.hash演算法及衍生 2.bow演算法延伸 3.word2vec延伸 4.lda主題延伸 乙個詞一列向量 hash演算...