1.2 語法鬆綁su-rnn
不同類別輸入的最優w不同。
對學習w的工作量加大，但效能提公升。
現在模型受輸入的語法類別條件約束。
我們決定類別的方法是通過乙個簡單的probabilistic context free grammar pcfg，通過計算penn tree bank的統計摘要習得。例如the永遠是dt.
我們初始化相同的w，預設是平均兩個輸入的向量。慢慢的模型學習到哪個向量更重要，以及旋轉或縮放向量是否能提高效能。
例如dt-np規則，會更重視名詞而不是修飾它的定冠詞。
su-rnn超過此前的模型，但表達性仍然不夠。
例如副詞被定義為用於強調。如果我們只進行線性插值無法用乙個向量來強調另乙個向量，無法對其進行縮放。
1.3 mv-rnn 矩陣-向量遞迴神經網路
詞表徵不僅包括乙個向量，也包括乙個矩陣。
這樣我們不僅能得到詞的意義，也能學習它修飾另乙個詞的方法。
通過縮放相鄰詞的向量來得到修飾關係。
通過觀察模型誤差，一些關係仍然無法表達。
一是表示相反意思的詞無法給予足夠的重視，例如將most改為least應該完全改變句子的意思。
二是無法識別負負得正關係，例如加上not應該緩解原先的負面情緒。
三是轉則關係，例如負面但是正面應該被視為正面意思表達。
1.4 rntn 遞迴神經張量網路
我們還是將兩個詞向量或短語向量結合成乙個向量。
我們先把它輸入乙個二次方程然後非線性處理，例如
注意v我們計算
然後加上w_x輸入非線性函式。
二次方程使我們可以表達詞向量之間倍數型別的關係而不需要學習詞矩陣。
rntn是唯一能夠解決上述問題的方法。
通過動態卷積神經網路我們可以取得超過rntn表現的模型並不需要輸入解析樹。
CS224n 課時1 NLP和深度學習入門
課程鏈結 人類語言並不是海量的資訊，它需要傳遞指定的資訊，具有複雜性，符號也代表情感。人類語言都有連續性，用於自然語言處理的深度學習也應該具有連續性。目前的機器學習，依然是通過手工構建出一系列有用的特徵，然後讓模型根據這些特徵取訓練，實際上機器並沒有學習到什麼東西，反倒是人類學習到了很多東西，做了很...
CS224D學習筆記
第二次看了，理解深了一些 2017.7.24 傳統方法 通過統計乙個單詞周圍的單詞的頻率，獲得每個單詞的wordvec，然後通過svd降維，去除較大奇異值的矩陣，把vec長度在25 1000內。缺點是1.單詞很多的時候svd複雜度很高 2.要新增新單詞時很困難，擴充套件性差 深度學習可以部分解決。w...
CS224n學習筆記1 深度自然語言處理
一 什麼是自然語言處理呢？自然語言處理是計算機科學家提出的名字，本質上與計算機語言學是同義的，它跨越了計算機學 語言學以及人工智慧學科。自然語言處理是人工智慧的乙個分支，在計算機研究領域中，也有其他的分支，例如計算機視覺 機械人技術 知識表達和推理等。目標 讓計算機能夠理解人類語言來完成有意義的任務...