以色列研究公司 ai21 labs 2023年8月發布**《sensebert: driving some sense into bert》，提出一種能夠顯著提公升詞彙消歧能力的新模型，該模型在複雜的 word in context (wic) 語言任務中取得了當前最優結果。
這篇**的重要創新是，sensebert 不僅能夠**遮蔽詞彙（masked word），還能**它們在給定語境下的實際含義。ai21 labs 的研究人員使用英語詞彙資料庫 wordnet 作為標註參照系統，設計了乙個網路來**單詞在語境中的實際含義。然後將該預訓練網路嵌入 bert。
和 sensebert 一同公開的還有其自研文字生成系統「haim」，其可控性優於其他前沿文字生成系統，如 openai 的 gpt-2 和華盛頓大學的 grover。大多數文字生成器基於人類寫的前提合成文字，但是生成的文字常常會跑題、不連貫，或者與原始語境相悖。haim 的工作原理稍有不同：先為模型提供開頭和結尾，然後模型使用切題的生成文字填補中間內容，連線開頭和結尾。輸出結果可以根據長度進行調整。
ai21 labs 發布了 haim-large 模型的 demo，該模型包含 3.45 億引數，在 40gb openwebtext 資料集上訓練而成。
實體消歧簡介
定義 實體消歧的本質在於乙個單詞很可能有多個意思，也就是在不同的上下文中所表達的含義可能不太一樣。簡單實現 首先我們需要準備乙個類似於下面的這種實體庫 id實體名 實體描述 1001 蘋果美國一家高科技公司，經典的產品有iphone手機 1002 蘋果水果的一種，一般產自於 然後當我們拿到text時...
nlp 形式語言與自動機 ch09 詞義消歧
1 詞義消歧方法分為 監督的和無監督的。2 有監督的語義消歧方法 基於互資訊的消歧方法 基本思路 對每個需要消歧的多義詞尋找乙個上下文特徵，這個特徵能夠可靠地指示該多義詞在特定上下文語境中使用的是哪種語義。3 有監督的語義消歧方法 基於貝葉斯分類器的消歧方法 基本思路 在雙語語料庫中多義詞的翻譯 語...
實體消歧（鏈結到實體庫）
disambiguation.py usr bin python3 import pymysql import json import requests from similarityen import similarity deffindcandidates entity 開啟資料庫連線 db p...