word embedding是什麼,流行什麼模型

2021-10-10 11:56:03 字數 416 閱讀 9855

就是用低維資料(例如vector)表示 word。

glove: 和word2vec很像,區別是glove可以把全域性的單詞放在一起。用的不多。

elmo: 解決了多義詞的問題。有兩個lstm 的 layer, 乙個用於單獨訓練上文,乙個用來單獨訓練下文。 因為兩層,所以產生3個embedding。

產生了3個embedding:

bert: bidirectional :雙向的,(上下兩個方向,再合起來) 。encoder representation: word embedding 的乙個系統。transformers:特徵採集器。rnn cnn一樣採集資訊的特徵提取器。elmo的時候,transformer還不是很流行,所以就錯失了這個機會。bert把模型中的所有rnn換成了transformer。更加敏銳的發現單詞之間的規律。站在了巨人的肩膀上。

什麼是詞嵌入(word embedding)

整理自知乎 embedding在數學上表示乙個maping,f x y,也就是乙個function。其中該函式是 那麼對於word embedding,就是將單詞word對映到另外乙個空間,其中這個對映具有injective和structure preserving的特點。通俗的翻譯可以認為是單詞嵌...

display inline block是什麼意思

很多時候我們必須使一些塊元素併排顯示,一般想到的是必須使用浮動,但是塊元素浮動給邊距 margin 的時候在ie下會出現加倍的bug 所以很多時候不得不把這個塊元素套在乙個內聯元素裡面,然後給內聯元素浮動和邊距。今天看到了懌飛 秦歌和烏龍茶關於display inline block的文章,很不錯,...

no database selected是什麼意思

no database selected是什麼意思?是因為你沒有選擇新建立的表所在的資料庫,no database selected 意思就是沒有選擇資料庫。推薦 mysql 教程 解決辦法 在建立表之前使用use語句,格式 use database name,這樣就開啟了資料庫,就可以對資料庫進行...