預訓練概覽
[1] nlp領域的預訓練之風
[2] 自然語言處理中的語言模型預訓練方法
[2] 注意力機制(attention)最新綜述**及相關原始碼
[3] 基於注意力機制，機器之心帶你理解與訓練神經機器翻譯系統
elmo模型
[1] elmo-**解讀
[2] elmo詞向量中文訓練過程雜記
[3] 利用emlo做預訓練
[4] elmo**詳解(二)
openai gpt模型
[1] openai gpt解析
[2] 使用transformer與無監督學習，openai提出可遷移至多種nlp任務的通用模型
[3] openai gpt
bert模型
[1] 谷歌bert模型深度解析
[2] bert - 用於語言理解的深度雙向預訓練轉換器
[3] 谷歌終於開源bert**
星型模型 vs 雪花型模型
總結在多維分析的商業智慧型解決方案中，根據事實表和維度表的關係，又可將常見的模型分為星型模型和雪花型模型。在設計邏輯型資料的模型的時候，就應考慮資料是按照星型模型還是雪花型模型進行組織。當所有維表都直接連線到 事實表 上時，整個 就像星星一樣，故將該模型稱為星型模型，如圖 1 星型架構是一種非正規化...
預訓練模型
elmo elmo是一種是基於特徵的語言模型，用預訓練好的語言模型，生成更好的特徵。而elmo的主要做法是先訓練乙個完整的語言模型，再用這個語言模型去處理需要訓練的文字，生成相應的詞向量。文字分類實戰 九 elmo 預訓練模型 在nlp領域，使用預訓練模型或元件的監督學習任務被稱為下游任務 bert...
星型模型和雪花型模型比較
一 概述 在多維分析的商業智慧型解決方案中，根據事實表和維度表的關係，又可將常見的模型分為星型模型和雪花型模型。在設計邏輯型資料的模型的時候，就應考慮資料是按照星型模型還是雪花型模型進行組織。當所有維表都直接連線到 事實表 上時，整個 就像星星一樣，故將該模型稱為星型模型，如圖 1 星型架構是一種非...