1.文字預處理
記錄一哈文字資料的常見預處理步驟：
（1）讀入文字
（2）分詞
（3）建立字典，將每個詞對映到乙個唯一的索引（index）
（4）將文字從詞的序列轉換為索引的序列，方便輸入模型
2.基於統計學的語言模型
主要理論是乙個n元語法，它是乙個基於n-1階馬爾可夫鏈的概率語言模型，主要解釋如下：
3.迴圈神經網路基礎
（1）需要明白迴圈神經網路的設計目的在於處理時間序列類的資料，例如自然文字語言。其**輸出不僅與當前時刻輸入有關，也與歷史時刻輸入有關， 網路結構如下：
（2）裁剪梯度
由此可以解決迴圈神經網路中梯度**問題。
----------------------家中條件有限，精力不能集中，倉促的筆記，未能親自敲**；過兩日把老闆的arx**模型搞通再來詳細學習伯禹的網課，感謝伯禹公益ai《動手學》！
Datawhale公益AI組隊學習Task3 5
一類是模型無法得到較低的訓練誤差，我們將這一現象稱作欠擬合 underfitting 另一類是模型的訓練誤差遠小於它在測試資料集上的誤差，我們稱該現象為過擬合 overfitting 在實踐中，我們要盡可能同時應對欠擬合和過擬合。雖然有很多因素可能導致這兩種擬合問題，在這裡我們重點討論兩個因素 模型...
伯禹第三次打卡
生成對抗網路 只是提出一種網路架構。gan簡單的想法就是用兩個模型，乙個是生成模型，乙個是判別模型，判斷模型用於對資料的判斷，生成模型則是模型自己去產生資料。這兩個模型一同對抗，生成模型生成的資料去欺騙判別模型，判別模型去判斷資料的真假，從而二者共同完善從而達到穩定。判別模型比較好理解，就像分類一樣...
公益AI第二次學習打卡
首先還是要感謝平台給了自己一次學習的機會。自己平常也會跟著書上的內容敲敲 但對於理論知識還是一知半解。每節課後的習題給了自己乙個鞏固複習的機會，讓自己能夠清楚學習的重點，查漏補缺。在這幾天的學習中，自己的收穫也很多。首先對於欠擬合和過擬合問題。在訓練模型中經常會遇到兩類典型問題 一類是模型無法得到較...