NLP入門 分詞與embedding

2021-10-06 12:25:48 字數 677 閱讀 7840

直接安裝pkuseg等好多次都失敗了,於是換清華源。

pip install pkuseg -i
用清華源安裝北大的東西感覺好尷尬啊。哈哈哈,不過速度相當快啊。

後來一搜,woc,這個庫和北大沒關係,有人蹭熱點,我特麼解除安裝了,還是用jieba了,但是咋embedding呢??能不能用tf.keras的embedding層啊??

請教了同事大佬,結果人家說work2vec,那就是gensim唄,

這時我才想起來我之前做的word2vec推薦專案沒在公司電腦上,在家的電腦啊。。

用gensim的word2vec訓練好的怎麼放入網路啊???連線不上啊,這真是個蛋疼的事。誰有加這個搜尋特徵啊

但我怎麼也無法放入網路中進行訓練啊!!臥槽,咋整啊,youtube2016

蹲乙個大佬指點下。多謝

待續。。。

for video recommendation in deep learning qq group 277356808

for speech, image, video in deep learning qq group 868373192

i'm here waiting for you

NLP 自動分詞

統計自然語言處理 學習筆記 由字構詞的漢語分詞方法 2002 由字構詞的漢語分詞方法的思想 它是將分詞的過程看作字的分類問題。在以往的分詞方法中,無論是基於規則的方法還是基於統計的方法,一般都依賴於乙個事先編制的詞表,自動分詞的過程就是通過查詞表作出詞語切分的決策,與此相反,由字構詞的分詞方法認為每...

NLP筆記 分詞

分詞標註方案 分詞工具 常見模型 維護詞典 用語句中字串與詞典進行比較,找到則切分,否則不切分。相連的字反覆出現,認為它們可能組成的是乙個詞。補充 hmm 齊次馬爾科夫假設,發射概率,轉移概率 先基於詞典進行分詞,再使用統計方法輔助 處理未登入詞和歧義詞 標籤 b begin i intermedi...

NLP 使用jieba分詞

相比於機械法分詞法,jieba聯絡上下文的分詞效果更好。同時使用hmm模型對片語的分類更加準確。測試對如下文字的分詞效果 南門街前段時間經過整改勸阻擺攤佔道的情況改善了很多,但是情況好了幾天又慢慢的和以前一樣了,只要有人帶頭 後面慢慢又擺出來,很多商戶現在乾脆用鉤子把一些貨物掛門口屋簷下的電線上,上...