實體競賽最重要的是分數，而分數則對應著資料打標者當時對資料進行標註的心態。所以，有時候資料預處理的方法並不是理論上完美，實際就無敵的。因為打標者的心態不可知。
對於過長的文字，打標者的心態很可能是厭惡，那麼在進行實體識別這種繁瑣的人工標註過程中，他們可能只會看前半部分，把一些標籤撈出來，而當前這條資料的後面的幾個實體，因為在文字的最後面，有可能就草草標註了事。這樣就導致很多的錯誤實體存在於長文字的後半段。
這樣子，我們通過計算資訊熵的方法設定的動態回割方法，反而不夠小白直接截斷文字進行命名實體識別的成績高。
因為我們在保證長文字資訊最大程度不丟失的前提下，保留了過多標註者草草標註的錯誤標註實體，模型在學習的過程中偏向了錯誤標註。
這也就是經驗過擬合的由來，我們往往被過去的經驗所主導，不自覺地偏向了理論至上的一塊，反倒是忽略了現實中最重要的人為因素，而比賽的最終關鍵點就是去擬合人為因素造成的誤差。
有個成語叫「大道至簡」，最簡單的往往是最好的。
ai命名實體識別模型 命名實體識別
crf中有兩類特徵函式，分別是狀態特徵和轉移特徵，狀態特徵用當前節點 某個輸出位置可能的狀態中的某個狀態稱為乙個節點 的狀態分數表示，轉移特徵用上乙個節點到當前節點的轉移分數表示。其損失函式定義如下 crf損失函式的計算，需要用到真實路徑分數 包括狀態分數和轉移分數 其他所有可能的路徑的分數 包括狀...
命名實體識別
簡單的分詞器 如二元分詞器 無法識別oov，所以需要運用一些規定的規則來輔助識別 如 在識別音譯人名時，可以設定規則 一旦發現某詞是人名，而該詞後面跟隨人名詞時，將他們合併 針對不同情況，需要設計相應的標註集 拿人名識別舉例 輸入資料集進行訓練後，會將人名拆分為碎片，模擬人名的錯誤切分.接著，檢查拆...
命名實體 中文命名實體識別簡介
一切具有特定屬性集合的物體都可以稱為實體。一般包括三大類 實體類 時間類 數字類 七小類 人名 機構名 地名 時間 日期 貨幣和百分比 1 確定實體的邊界，即確定哪些詞屬於實體。2 確定實體的類別，即確定實體屬於人名或者機構名等。1 各類命名實體沒有嚴格的命名規範 2 中文命名實體沒有類似英文明確的...