資料增強、模型微調、文字分類
資料增強
通過對資料進行翻轉、增加雜訊、調整色調亮度等等操作，提高模型的泛化能力。
模型微調
屬於遷移學習的範疇，學習如何將別人訓練好的模型嫁接到目標專案上
裡面講到乙個技巧是，將輸出層引數隨機初始化，而隱藏層不變
學習過程中，隱藏層用較小的學習率，輸出層用較大的學習率
嗯，都是很common sense的內容了
文字分類
對於文字，用一維卷積核進行特徵提取
而且需要用到不同長度的卷積核
卷積核的輸出經過maxpooling 合併成乙個輸出
該輸出則代表了語句的抽象表示
而最終經過全連線輸出分類，多分類用softmax
動手學深度學習 Task08筆記彙總
終於來到了我感興趣的東西，如何教會機器進 感分析。目標是通過給定的不定長文字序列輸出情緒類別，運用了預訓練的詞向量和多隱藏層的雙向rnn和cnn，是詞嵌入的下游應用。隨機改變樣本從而降低模型對屬性的依賴性，並且也可以擴大資料集規模。例如 翻轉 裁剪 變化顏色 亮度 對比度 跑合度 色調 以及以上各種...
動手學深度 Task04
思考 課程中提到了beam search 覺得講的太粗略，而且例子給的不清晰，留下兩個疑問 在beam search裡面，每乙個保留的是所有搜尋的top k最優，還是一開始分成k個子搜尋，然後每一步保留子搜尋的最優？最終有k個結果，如何選擇最優？注意力機制，簡單的理解，就是對輸入進行加權求平均，而這...
動手學深度學習 task01
task 1 線性回歸 多層感知機 softmax函式 1 線性回歸作為基本的機器學習演算法，實現較簡單，應用廣泛。以下為用pytorch編寫的線性回歸類 import torch.nn as nn import torch from torch.autograd import variable f...