詞向量
詞向量可以表示兩個詞的語義相似度
可以訓練詞向量的模型主要有：
cbow、skip-gram、nnlm、glove、elmo、mf（矩陣分解）、gause embedding、bert
skip-gram
根據中心詞**上下文
對於 w1,w2,w3,w4,w5
p=p(w2|w1)p(w1|w2)p(w3|w2)p(w2|w3)p(w4|w3)p(w3|w4)p(w5|w4)p(w4|w5)
cbow
根據上下文**中心詞
對於 w1,w2,w3,w4,w5
p=p(w2|w1w3)p(w3|w2w4)p(w4|w3w5)
nnlm
p=p(w2|w1)p(w3|w2)p(w4|w3)p(w5|w4)
以上方法訓練詞向量的問題
訓練出的詞向量是固定的，當面對一詞多義的情況時，無法根據上下文語境區分語義
學習筆記 詞向量與詞嵌入
詞 向量 叫做 詞向量化 文字向量化 vectorize 是指將文字轉換為數值張量的過程 多種實現方法 將文字分割為單詞，並將每個單詞轉換為乙個向量。將文字分割為字元，並將每個字元轉換為乙個向量。提取單詞或字元的 n gram n元 並將每個 n gram 轉換為乙個向量。n gram 是多個連續單...
Bug一詞的由來
bug一詞指在電腦系統或程式中，隱藏著的一些未被發現的缺陷或問題。但是bug一詞是如何由來的呢，昨天翻了翻 軟體除錯 發現裡面記述了這樣乙個有趣的故事 時間是在20世紀40年代，當時的電子計算機都還非常龐大，數量也非常少，主要用在軍事方面。1944年製造完成的mark i,1946年2月開始執行的e...
每日一詞 持續更新
10 21 what is the meaning of the word inventory inv ntri 1.現有的貨物和原料的完整目錄 2.拙劣的玩笑 3 當某人開心時候的一種表達 4.一種珍禽交配時發出的鳴叫 昨日答案 1 例句 i regret not completing thein...