NLP模型常見問題及解決方案

2021-10-02 12:38:58 字數 594 閱讀 4403

一、序列標註任務**輸出全為0的情況:

1.1、模型搭建出現問題,檢查模型是否正確

1.2、學習率太小導致未收斂出現全0的情況,其中如果含bert的模型可以嘗試對不同引數設定不同學習率。

1.3、batch_size過大導致全0的情況,需要調小batch

二、關於含bert模型的引數設定問題

學習率建議設定為:1e-5 / 2e-5 / 5e-5

batch_size建議設定:8 / 16 / 32

三、含bert + crf的基本模型中,調大crf的學習率效果可能會有明顯的提公升

bert模型一般10^-5級別的學習率微調就夠了,但是對於crf來說這麼小的學習率很難讓crf的轉移矩陣很好的學習所有的資訊。適當調大crf的學習率會讓crf模型中的轉移矩陣學習到更多的資訊。一般設定成10^-2級別就可以了。

四、runtimeerror: cuda error: device-side assert triggered

檢查送入模型的label部分,很有可能是因為類別設定錯誤,或者是類別對映錯誤。

五、測試集效果過好

檢查送入的特徵是否有標籤洩露的情況,抽取很難出現效果很好的情況,注意檢查輸入。

Matrikon OPC常見問題及解決方案(一)

本文主要分享了使用matrikonopc伺服器時遇到的一些最常見的問題和相應的解決方案。在聯絡matrikonopc支援團隊之前,你可以看一下以下問題 解決方案和問題 答案部分是否能幫助你解決目前問題。安裝時出現 aprxdist 錯誤問題 安裝時出現的 aprxdist 錯誤是什麼?解決方案 以管...

Oracle常見問題及解決方案

沒有人會否認oracle是全球最有影響的資料庫產品之一 但是龐大的系統,總是會出現各種各樣的問題,很多經驗不足的使用者面對著那些錯誤提示束手無策。本文是整理了oracle資料庫在使用過程中一些常見的問題及解決方案,希望能給初學者一點啟示。1 ora 12541 tns 沒有 原因 沒有啟動 或者 損...

Oracle常見問題及解決方案

沒有人會否認oracle是全球最有影響的資料庫產品之一 但是龐大的系統,總是會出現各種各樣的問題,很多經驗不足的使用者面對著那些錯誤提示束手無策。本文是整理了oracle資料庫在使用過程中一些常見的問題及解決方案,希望能給初學者一點啟示。1 ora 12541 tns 沒有 原因 沒有啟動 或者 損...