詞向量發展篇：
內容：共現矩陣-svd-nnlm-word2vec-glove-elmo
由one-hot編碼到bert詞向量發展程序
word2vec中的模型解說
word2vec公升級版glove解說
補充
bert
為了彌補elmo的不足，bert真正實現了雙向語言模型。
訓練過程：輸入句子 - embedding層(768) - position_embedding層(768) - transformer層(768) * 12 - masked_lm層 - next_sentence層elmo網路結構**過程：輸入句子 - embedding層(768) - position_embedding層(768) - transformer層(768) * 12
訓練過程：輸入句子 - embedding層(512) - 雙向lstm層(2512) - 雙向lstm層(2512) - softmax層(vocab_size)**過程：輸入句子 - embedding層(512) - 雙向lstm層(2512) - 雙向lstm層(2512) - 拼接前三層各自的輸出(3*1024
深度學習的發展歷史是什麼？
深度學習的歷史可以追溯到1943年，當時walter pitts和warren mcculloch建立了基於人腦神經網路的計算機模型。他們將演算法和數學方法結合在一起，稱之為 閾值邏輯 以模仿思維過程。自那時以來，深度學習一直在穩步發展，其發展只有兩個重大突破。兩者都與臭名昭著的人工智慧冬天有關。亨...
深度學習中技術發展相關歷史節點
1，入門資料集 mnist 地位等同於程式語言中的 hello world 2，起源，lenet算是最早的卷積神經網路模型，確定了cnn的基本框架，包括卷積層，池化層，全連線層以及輸出層。3，崛起，深度學習的高速發展起源於alexnet在imagenet大賽中的出色表現。alex在lenet的框架上...
深度學習中目標檢測的原理概述 發展歷史
前言 影象的目標檢測經歷了幾個不同的階段，使用的方法不斷改善並且效果不斷優化 階段一傳統的目標檢測方法 傳統的目標檢測方法大多以影象識別為基礎。一般通過四個步驟來完成 步驟 一 在上使用窮舉發選出所有物體可能出現的區域框。步驟 二 對這些區域框提取特徵。步驟 三 使用影象識別方法對特徵進行分類。步驟...