【任務安排】：
task01：線性回歸；softmax與分類模型、多層感知機（1天）
task02：文字預處理；語言模型；迴圈神經網路基礎（1天）
線性回歸
從零開始的實現（推薦用來學習）
能夠更好的理解模型和神經網路底層的原理
使用pytorch的簡潔實現
能夠更加快速地完成模型的設計與實現
softmax與分類模型
softmax回歸的基本概念
如何獲取fashion-mnist資料集和讀取資料
softmax回歸模型的從零開始實現，實現乙個對fashion-mnist訓練集中的影象資料進行分類的模型
使用pytorch重新實現softmax回歸模型
多層感知機
多層感知機的基本知識
使用多層感知機影象分類的從零開始的實現
使用pytorch的簡潔實現
文字預處理
預處理通常包括四個步驟：
讀入文字
分詞建立字典，將每個詞對映到乙個唯一的索引（index）
將文字從詞的序列轉換為索引的序列，方便輸入模型
語言模型
一段自然語言文字可以看作是乙個離散時間序列，給定乙個長度為 tt 的詞的序列 w1,w2,…,wtw1,w2,…,wt ，語言模型的目標就是評估該序列是否合理，即計算該序列的概率：
p(w1,w2,…,wt).
p(w1,w2,…,wt).
本節我們介紹基於統計的語言模型，主要是 nn 元語法（ nn -gram）。
思考： nn 元語法可能有哪些缺陷？迴圈神經網路基礎下圖展示了如何基於迴圈神經網路實現語言模型。我們的目的是基於當前的輸入與過去的輸入序列，**序列的下乙個字元。迴圈神經網路引入乙個隱藏變數h，用ht表示h在時間步t的值。ht的計算基於xt和ht−1，可以認為ht記錄了到當前字元為止的序列資訊，利用ht對序列的下乙個字元進行**。引數空間過大 資料稀疏
DAY 2 動手學習深度學習
任務安排 task03 過擬合 欠擬合及其解決方案 梯度消失 梯度 迴圈神經網路高階 1天 task04 機器翻譯及相關技術 注意力機制與seq2seq模型 transformer 1天 task05 卷積神經網路基礎 lenet 卷積神經網路高階 1天 過擬合 欠擬合及其解決方案 過擬合 欠擬合的...
學習日記 Day1
for 迴圈變數型別 迴圈變數名稱 要被遍歷的物件 迴圈體 int c for int a c 廣播的動態註冊 過程總結 1.定義乙個intentfiler和乙個繼承broadcastreceiver的內部類 receiver 2.在oncreate中例項1中的2個定義。intentfiler新增個...
英語學習Day1
單詞 cast sb in sth 選演員扮演某個角色 underdog 劣勢方，弱者 debilitated 使衰弱，使削弱 bitter 艱苦的 churn out 快速，大批量的生產 successive 接連不斷的 high caliber 高質量的 might make right 強權就...