引言
教機器學會閱讀是近期自然語言處理領域的研究熱點之一，也是人工智慧在處理和理解人類語言程序中的乙個長期目標。得益於深度學習技術和大規模標註資料集的發展，用端到端的神經網路來解決閱讀理解任務取得了長足的進步。
本文是一篇機器閱讀理解的綜述文章，
主要聚焦於介紹公布在 squad（stanford question answering dataset）榜單上的各類模型
，並進行系統地對比和總結。
squad 簡介
squad 和之前的完形填空類閱讀理解資料集如 cnn/dm [2]，cbt [3] 等最大的區別在於：squad 中的答案不在是單個實體或單詞，而可能是一段短語，這使得其答案更難**。
squad 包含公開的訓練集和開發集，以及乙個隱藏的測試集，其採用了與 imagenet 類似的封閉評測的方式，研究人員需提交演算法到乙個開放平台，並由 squad 官方人員進行測試並公布結果。
我有幾張阿里雲幸運券分享給你，用券購買或者公升級阿里雲相應產品會有特惠驚喜哦！把想要買的產品的幸運券都領走吧！快下手，馬上就要搶光了。
圖1：乙個（問題，原文，答案）三元組模型
自從 squad 資料集公布以來，大量具有代表性的模型紛紛湧現，極大地促進了機器閱讀理解領域的發展，下面就 squad 榜單上代表性的模型進行介紹。
總的來說，由於 squad 的答案限定於來自原文，模型只需要判斷原文中哪些詞是答案即可，因此是一種抽取式的 qa 任務而不是生成式任務。
幾乎所有做 squad 的模型都可以概括為同一種框架：embed 層，encode 層，interaction 層和 answer 層。
embed 層負責將原文和問題中的 tokens 對映為向量表示；encode 層主要使用 rnn 來對原文和問題進行編碼，這樣編碼後每個 token 的向量表示就蘊含了上下文的語義資訊；interaction 層是大多數研究工作聚焦的重點，該層主要負責捕捉問題和原文之間的互動關係，並輸出編碼了問題語義資訊的原文表示，即 query-aware 的原文表示；最後 answer 層則基於 query-aware 的原文表示來**答案範圍。
達觀杯文字智慧型處理挑戰賽
筆者嘗試了一下達觀杯的比賽，如下圖所示 import pandas as pd import imp from sklearn.linear model import logisticregression from sklearn.feature extraction.text import cou...
達觀杯文字智慧型處理挑戰賽練習
比賽官方對資料的說明是資料報含兩個檔案 train set.csv和test set.csv 一.初識資料 train set.csv 此資料集用於訓練模型，每一行對應一篇文章。文章分別在 字 和 詞 的級別上做了脫敏處理。共有四列 第一列是文章的索引 id 第二列是文章正文在 字 級別上的表示，即...
達觀杯 文字智慧型處理挑戰賽 02
原理 將每篇文章看成一袋子詞，並忽略每個詞出現的順序。即將整段文字以詞為單位切分開，然後每篇文章可以表示成乙個長向量，向量中的每一維代表乙個單詞，而該維對應的權重則反映了這個詞在原文章中的重要程度。權重與詞在文字 現的頻率有關，而其中不考慮詞與詞之間的上下文關係。詞袋模型的三步驟 分詞 統計修訂詞特...