動手學習pytorch第二次打卡
#1 錯題分析
1.下列模型不是由基礎塊重複堆疊而成的是
alexnet
vggnin
googlenet
答案解釋
選項1：錯誤，參考alexnet。
選項2：正確，由vgg block組成。
選項3：正確，由nin block組成。
選項4：正確，由inception組成
總結alexnet不是由簡單塊堆疊而成的，其他都是
錯題分析：
下列哪一項不是構建vocab類所必須的步驟：
詞頻統計，清洗低頻詞
句子長度統計
構建索引到token的對映
構建token到索引的對映
答案解釋
句子長度統計與構建字典不相關
總結句子長度和字典是沒有關係的
在lstm模型的初始化中，下列不需要初始化的引數是？
每個迴圈單元中的記憶細胞和迴圈單元的值
第0個迴圈單元的記憶細胞和迴圈單元的值
門控單元中用於計算遺忘門的權重與偏差
用於計算輸出的權重與偏差
答案解釋
每個迴圈單元中的記憶細胞和迴圈單元的值為lstm模型中的隱狀態，而非引數，因此不需要初始化。
總結第0個迴圈單元是需要初始化的
錯題分析：
資料預處理中分詞(tokenization)的工作是？
把詞語、標點用空格分開
把字元形式的句子轉化為單詞組成的列表
把句子轉化為單詞id組成的列表
去除句子中的不間斷空白符等特殊字元
答案解釋
選項二：正確，參考資料預處理分詞(tokenization)部分。
總結:將漢語分詞
下列不屬於單詞表裡的特殊符號的是？
未知單詞
空格符句子開始符
句子結束符
答案解釋
選項二：錯誤，參考建立詞典部分**，空格不被認為是特殊字元，在該專案裡，空格在預處理時被去除。
總結：開始和結尾詞和未登入詞都是特殊符號，空格應該去除。
以下對於加入attention機制的seq2seq模型的陳述正確的是：
seq2seq模型不可以生成無窮長的序列。
每個時間步，解碼器輸入的語境向量(context vector)相同
解碼器rnn仍由編碼器最後乙個時間步的隱藏狀態初始化。
引入注意力機制可以加速模型訓練。
答案解釋
選項1：seq2seq模型的**需人為設定終止條件，設定最長序列長度或者輸出[eos]結束符號，若不加以限制則可能生成無窮長度序列
選項2：不同，每個位置都會計算各自的attention輸出
選項3：正確
選項4：注意力機制本身有高效的並行性，但引入注意力並不能改變seq2seq內部rnn的迭代機制，因此無法加速。
以下對於注意力機制敘述錯誤的是：
注意力機制借鑑了人類的注意力思維方式，以獲得需要重點關注的目標區域。
在計算注意力權重時，key 和 query 對應的向量維度需相等。
點積注意力層不引入新的模型引數。
注意力掩碼可以用來解決一組變長序列的編碼問題。
答案解釋
在dot-product attention中，key與query維度需要一致，在mlp attention中則不需要。
總結：點積注意力層不引入新的模型引數。
在transformer模型中，注意力頭數為h，嵌入向量和隱藏狀態維度均為d，那麼乙個多頭注意力層所含的參數量是：
4hd^2
(3h + 1)d^2
4d^2
3hd^2
答案解釋
參考multiheadattention模組的定義。
h個注意力頭中，每個的參數量為3d^2
，最後的輸出層形狀為hd times d，所以參數量共為4hd^2。
總結：此部分需要反覆**transformer定義，需要理解
錯題分析：
有限制條件的優化問題可以用什麼方法解決：_______。
拉格朗日乘子法
新增懲罰項
投影法以上都是
答案解釋
總結:上面的方法都是處理限制條件優化的手段
總結：這塊主要講優化演算法，其實對我們理解優化器有好處。是adam等高階演算法的基礎。
全盤總結：學到了新東西，尤其是transformer
Python第二次學習
轉義字元 格式化 format 對數字進行格式化 內建函式 判斷 一般以is開頭 操作類函式 常見操作 切片 l1 1 6 新增 insert 位置，元素 在指定位置插入資料 合併list1.extend list2 將list2 拼接到list1後 刪除 更改 查詢 遍歷 排序 反轉 複製x nu...
第二次作業
execise02 1.查詢85年以後出生的學生姓名 性別和出生日期 2.列表顯示所有可能的學生選課組合 學號 課程號 3.查詢1 2 4班中陳姓同學的資訊 4.查詢所有及格的學生姓名 所選課程名及所得分數 5.統計各門課程的及格人數 課程編號 課程名 及格人數 6.統計各門課程的總人數 及格人數和...
第二次約會
第一次看來我沒把人家姑娘嚇壞，一周後的乙個星期一晚上，我迎來了和t第二次見面機會，那天我發了一條簡訊給t，今天晚上我們去外灘逛逛吧 t快下班的時候給我打了個 當時t和她的小朋友們都還在教室裡,t很爽快的答應我的邀請，並且叫他們班所有的 學生異口同聲在 的那端大聲叫 叔叔好！當時差點沒把我耳朵震聾，呵...