kaggle上傳資料集比較麻煩，國內難傳。如果是公開資料集，就使用官網的資料比較好。但是，官網的資料是要經過處理才可以的。
處理資料的主要知識點有:
安裝gpu版本tensorflow
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as pit
import numpy as np
import glob
import os
!pip install tensorflow-gpu==
2.0.0
-beta0
訓練模型積累
1 學習率 base lr 如果學習率較小，訓練會變得更加可靠，但是優化會耗費較長的時間，因為朝向損失函式最小值的每個步長很小。如果學習率較大，訓練可能根本不會收斂，甚至會發散。權重的改變量可能非常大，使得優化越過最小值，使得損失函式變得更糟。備註 訣竅就是從乙個低學習率開始訓練網路，並在每個批次中...
語言模型訓練
模型訓練 nohup ngram count text tieba.word.merged order 4 vocab words.txt kndiscount interpolate lm tieba.word.4gram.lm 結果測試 ngram lm tieba.word.4gram.lm ...
預訓練模型
elmo elmo是一種是基於特徵的語言模型，用預訓練好的語言模型，生成更好的特徵。而elmo的主要做法是先訓練乙個完整的語言模型，再用這個語言模型去處理需要訓練的文字，生成相應的詞向量。文字分類實戰 九 elmo 預訓練模型 在nlp領域，使用預訓練模型或元件的監督學習任務被稱為下游任務 bert...