秋招面試題 NLP 總結5 預訓練模型

2021-10-07 18:41:59 字數 1765 閱讀 3860

零. 詞向量

詞向量 onehot的缺點 word2vec,glove,elmo,bert區別

如何判斷兩個詞相似

fasttext原理,相對於word2vec有什麼優勢

word2vec的訓練過程

,word2vec是有監督的還是無監督的?

講了word2vec

,層級softmax

和負取樣這些

word2vec

的訓練方式,那種更好,

cbow

模型和skipgram

模型,霍夫曼樹,負取樣等等

lda的詞表示和word2vec的詞表示有什麼區別

,word2vec

負取樣如何做到的

你了解哪些詞向量生成方式,每一種是怎樣做的,word2vec,tf-idf

,n_gram

,glove,fasttext

fasttext 原理,為什麼用skipgram不用cbow,

負取樣怎麼做到,公式是什麼?

fasttext原理,cbow和skipgram的區別,分層softmax和負取樣,負取樣的取樣原理,為什麼要這樣取樣,fasttext雜湊規則,怎麼把語義相近的詞雜湊到乙個桶裡。

fasttext怎麼做分類的,詞向量用什麼訓練的,維度多大 fasttext和word2vec的區別

fasttext的過程

,fasttext n-gram

記憶體不足怎麼辦?

jieba

怎麼用的,

gensim

和hanlp

涉及的演算法(

double-trie

),考察常用的分詞演算法

glove

的推導過程

因果詞向量的應用場景

什麼情況下需要將連續特徵離散化--- one-hot

稀疏詞向量 用

skip-gram

還是cbow

訓練好,請說出理由

一. elmo

bert 和 elmo 的區別

二. bert

bert細節介紹,與gpt、elmo比較。

bert, xlnet, roberta, albert

的區別bert mask,cls等比較詳細的

分類損失函式都有哪些

word2vec

和bert

區別,然後損失函式(負取樣,哈夫曼

softmax

)bert的兩種輸出

為什麼人工智慧在影象裡應用落地更好,在

nlp不行。談談你的看法

bert

掩碼如何實現

bert

為什麼只用

transformer

的encoder

而不用decoder

微軟unilm

主要為解決什麼問題提出的?三個子模型分別是什麼?

剪枝與正則化的聯絡

結構化剪枝和非結構化剪枝

介紹預訓練語言模型

elmo

,bert

,transforler-xl

,xlnet

,ernie

,roberta

,albert

,electra

。。。筆者從

bert

的mask lm

以及qa

任務出發講解了

bert

後續各大預訓練的改進

能否描述下

bert

的分詞方法,如何實現word

piece

秋招面試題 NLP 總結6 計算機基礎

一.作業系統 設計乙個udp傳輸 tcp ip協議 設計乙個秒殺系統 程序之間是怎麼通訊的 深拷貝和淺拷貝的區別 指標和引用的區別 程序和執行緒區別 執行緒之間如何進行資源共享 linux 多個程序如何通訊的?nohup如何實現 malloc和new的區別,以及如何釋放記憶體 程序記憶體互相訪問 伺...

前端秋招必考題面試題

1.從輸入url到頁面呈現所經歷的過程,2.cookie,3.webstorage,4.閉包,5.原型鏈,6.作用域,7.前端發請求的方式,8.promise,9.mvvm,10.響應式布局的 viewport,mediascreen 11.rem,em,px的區別,12.陣列方法的原理實現,13....

秋招 快手 資料分析崗 面試題整理

1.不用任何公開參考資料,估算今年新生兒出生數量 1 採用兩層模型 人群畫像 人群轉化 新生兒出生數 各年齡層育齡女性數量 各年齡層生育比率 2 從數字到數字 如果有前幾年新生兒出生數量資料,建立時間序列模型 需要考慮到二胎放開的突變事件 進行 3 找先兆指標,如嬰兒類用品的新增活躍使用者數量x表示...