簡單來講,就是把上下文分別用rnn生成向量,計算兩個向量變換後的內積對應二分類,判斷乙個回答是否是正確回答
**全名:the ubuntu dialogue corpus: a large dataset for research in unstructured multi-turn dialogue systems
2、在多輪對話中,已知前文(context)的時候,面臨一堆候選回答的時候,用怎樣的網路結構能選出正確答案
缺圖其實網路結構極其簡單,把當前的問題,比如「怎麼檢視程序號」,用rnn進行向量化c,即取rnn最後乙個時刻的輸出;與候選的回答,比如「用ps ax來看"用同樣結構的網路生成的向量r,這兩個向量最後轉換成乙個標量,通過sigmoid函式歸到01之間。其實,就是擬合c'=mr,使得相關回答在變換後,與問題相似。
從最後的結果來看,lstm相對原始rnn來說,有巨大的效果提公升,而原始rnn與tfidf的余弦度量得到的結果差不太多
缺圖模型的效果與語料的量有很大關係
缺圖原始語料中只有正例,負例是隨機構造的。
用於翻譯模型的度量bleu不再適用於會話評估。
文中還提到,引數的初始化方式和優化方法也起到關鍵作用,rnn隱層特意用了正交向量來初始化,優化演算法採用"adom"方法,這兩點之後還要細讀一**竟。
既然本質上也是算變換後的相似性,那微軟的相關性模型(dssm系列非對稱型)也適用於這個問題,效果上應當基本是等價的,從經驗來看還有可能更快地收斂,如果原模型難以優化,可以嘗試下成對訓練。
神經網路辨識系統
clc close all clear y 1 0 k 1 u k sin 2 pi k 250 f k 0.6 sin pi u k 0.3 sin 3 pi u k 0.1 sin 5 pi u k y k 1 0.3 y k f k for k 2 100 u k sin 2 pi k 250...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...