ais (acl, ijcai, sigir) 2019 **報告會
熱門(與2018一致):information extraction, machine learning, machine translation
激增:linguistic theories, cognitive, modeling and psycholinguistics
2023年:從word2vector 開始(未考慮一詞多義,無法上下文理解)
複雜模型出現(rnn lstm cnn gru transformer)不重視pretrain
之後:預訓練模型:
elmo(雙向lstm)
openai gpt(單向transformer)
bert(雙向transformer)
1.多工、多語言、複雜知識
2.低資源(缺乏標註資料)任務:
解決思路:無監督方法、引入領域知識、半監督、transfer learning、
近幾年火的:few-shot learning、meta learning、adversarial training、muti-task learning
低資源工作:
從非平行語料中學習詞對譯、翻譯資訊,利用對抗訓練使不同語言表示空間接近。
機器翻譯領域:transfer learning、meta learning
引入領域知識:eg義原知識
3.可解釋性
結合常識、知識:工具:memory network 、graph nn 圖譜與文字結合進行推理
典型問題:對抗樣本攻擊、模型退化(資料簡單時 過擬合)
noic reasoning cell
4.新的任務和資料集
eg. 常識問答、多語言問答和推理、文件級別的關係抽取
利用更多的知識、實現更深的理解
許知遠 嗨!Julia
引言 當今社會雜語喧嘩,而且在很長一段時間裡都將如此。當今世界的中心議題乃是如何把多聲部鑄造成和諧的 而防止它散漫為嘈雜之聲。齊格蒙特 鮑曼一四 julia每天都將自己在達沃斯的 還有短片,傳到她的部落格上。她在滑雪,他 和傑夫 扎維斯在著名的高空酒吧,看得出她神采飛揚,這是網際網路革命的新佐證,正...
劉博士的知見心理學
週六參加普元董事長劉亞東的乙個心理學課程,有所感受。其根由是劉博士參加了乙個心靈海的知見心理學 http www.soi.com.cn 的課程,很受收穫,於是想和更多的人一起分享,於是有了這個課程。在網上了解了一下心靈海和知見心理學,可以將他們歸為成功學的範疇。因為從前一直對這方面的內容比較關注,所...
知其所以然 劉未鵬
這是乙個樹狀的知識結構,越往上層走,需要記憶的節點就越少。所謂觸類旁通者,其實便是因為他擅長去理解解法背後的更具一般性的東西。所以我還有乙個習慣,就是看到美妙的證明和解法總是會去一遍又一遍的去反覆揣摩,試圖理解想出這個證明的人到底是怎麼想出來的,有沒有什麼一般性的方法可循,很多時候,在這樣揣摩的過程...