本次比賽採用兩個評價標準來對各隊提交的結果進行評測。由人工標註的答案作為標準，系統自動依據兩個不同的維度進行打分，較客觀地保證了評分系統的公平性。奇點機智在兩個不同維度中均取得了最優的成績，分數遠超第
二、第三名。
目前看來，機器閱讀理解雖然與人類有一定差距，但此次比賽中，冠軍團隊奇點機智的答案與人工標註的答案非常接近，甚至有些比人工答案更全面。在參賽之前，團隊主要技術成員並未接觸過機器閱讀理解相關的工作，而主要研究機器學習以及語音識別，能在幾個月時間內掌握新領域的核心技術並奪取冠軍，非常難得。
本次競賽就是對於中文長文字理解的挑戰，而長時間以來，自然語言處理的研究都是基於句子級別的閱讀理解，例如理解句子中的主謂賓、定狀補，時間、地點、事件等等。然而，基於篇章的長文字理解一直是乙個技術難題，涉及到更高難度的研究內容，例如句子之間的連貫、上下文、推理等等。
微軟marco也應用在機器閱讀理解領域，是由10萬個問答和20萬篇不重複的文件組成的資料集。相比squad，其最大不同在於資料集中的問題來自微軟自家必應搜尋引擎，為使用者真是提問，問題則更傾向真實的語言環境，需要智慧型體推理語境進行分析。ms marco的挑戰難度更大，它需要測試者提交的模型具備理解複雜文件、回答複雜問題的能力。
在此次比賽中，奇點機智基於公司儲備的nlp工具，模型主要參考了經典閱讀理解上的模型，根據資料集的特點做了一些改進，得到最終的模型。奇點機智團隊嘗試了很多經典的rc模型，比如bidaf, match-lstm, r-net，dcn等，最終的模型是基於bidaf的改進，嘗試引入多個答案的資訊。
在人工智慧技術中，自然語言處理是重要一環，而機器閱讀理解是自然語言處理中的技術關鍵點。自然語言處理技術在語音助手、機器翻譯、智慧型搜尋、智慧型推薦、智慧型客服、智慧型機械人等人工智慧應用具有重要意義，都需要大量依靠於機器閱讀理解來閱讀真實問題、真實網際網路材料，給出完整答案的ai能力。
機器閱讀理解可以為語音助手賦能，也為語音助手的應用奠定了堅實的技術基礎。例如，當手機使用者遇到問題時，通過語音對話的方式提出問題，語音助手便能迅速給出答案。隨著手機語音助手的應用越來越廣泛，手機搜尋引擎和網路瀏覽器已經逐漸淡出大家的視線。
計算語言學協會（acl， association for computational linguistics）會士、前google資深科學家及google搜尋問答創始人、奇點機智聯合創始人兼cto林德康表示：「機器閱讀理解是自然語言處理領域中的研究焦點，能將這項技術落地應用到實際生活中是我們一直以來的目標。」
機器閱讀理解資料集
總結f p q af p,q a f p,q a這裡的 f 就是閱讀理解的模型。模型的發展離不開資料集，資料集的不斷進步直接地推動了該領域的研究進展。根據問題 q 和回答 a 的形式，機器閱讀理解中的資料集可以分為最早的完型填空形式 cloze style 多項選擇 multi choice 區域 ...
機器閱讀理解資料集
任務定義 將文章中的某些單詞隱去，讓模型根據上下文判斷被隱去的單詞最可能是哪個。資料集有 cnn daily mail children s book test cbt booktest，who did what,cloth,clicr,lambada，quasar s 任務定義 給定一篇文章和乙個...
資料探勘 筆記 閱讀之機器學習競賽高階
教你如何在機器學習競賽中更勝一籌 上 部落格 雲棲社群 阿里雲 介紹一些建立機器學習模型的技巧 了解資料 評估指標 確定交叉驗證策略 超參調整 選擇演算法 保持 結果 組合模型 估算缺失值 均值，中位數插值 在變數的正常範圍之外標記。如 1，9999 用一種可能性替換，例如與目標變數有關的事物 有時...