最近用bert進行中文資料集的文字分類，針對的資料集有thucnews 和 one-classes。遇到的坑如下：
1. 針對資料集處理時，應該shuttle打亂。資料集是按照類別排序的。
import random
random.shuttle(lines)
2. 會再資料集的output資料夾下儲存斷點，下次預設從斷點開始訓練。因此重新訓練需要刪除output中的資料。
3、 出現「1689 段錯誤 (核心已轉儲)」 發現是numpy格式太老。仔細一看，發現忘記source activate tensorflow1進入anaconda新環境了。
bert簡介 bert中文微調
最近學習了一點兒關於bert中文微調的知識，並上手實踐了一下，再次進行記錄。game apex是個新出的吃雞遊戲。technology google將要推出tensorflow2.0。中文情感分類任務如何對bert語言模型微調 blog.csdn.net bert簡介及中文分類 blog.csdn....
bert簡介 Bert基礎介紹
bert理解 1 預訓練模型 bert是乙個預訓練的模型，那麼什麼是預訓練呢？假設已有a訓練集，先用a對網路進行預訓練，在a任務上學會網路引數，然後儲存以備後用。預訓練過程 當來乙個新的任務b，採取相同的網路結構，網路引數初始化的時候可以載入a訓練集學習好的引數，其他的高層引數隨機初始化，之後用b任...
bert中的sep 語言模型 BERT
今天我們想到 nlp 就會想到 bert，在 nlp 領域中 bert 到處屠榜。bert 主要應用於自然語言處理中的預訓練。這裡想說一件有趣的事，就是當下比較火的自然語言處理模型如 elmo 和 bert 都是動畫片芝麻街中角色。那麼什麼是 bert 呢?我們先從字面上解釋一下什麼是 bert。我...