近期，微軟研究團隊通過對上下文建模加以研究得出一種新的方法，這種方法能夠讓 ai 模型通過上下文的歷史記錄來改寫對話中的最後話語，那麼，這是一種怎樣的研究方法呢?
kyle wiggers 對此做了詳細的介紹，雷鋒網將其文章進行了不改變願意的編譯，具體如下。
在乙份預先出版的**中，微軟研究團隊詳細地介紹了他們的工作——為開放領域的對話進行無監督的上下文重寫。他們聲稱，在重寫質量和多輪響應生成方面，他們的實驗結果已經達到了最新基準。
正如研究人員所解釋的那樣，對話上下文提出了句子建模中所沒有的挑戰，比如主題轉換、共同引用(像他、她、它、他們這種)、長期依賴。大多數系統解決這些問題的方法是在最後一段話中新增關鍵字，或者用 ai 模型學習數字表示，但這種方法往往會遇到障礙，比如無法選擇正確的關鍵詞、無法處理較長的上下文等。
這時候，就是微軟研究團隊的方法的用武之地了。它通過對語境資訊的考量，重新制定了對話中的最後一句話;這麼做是為了生成乙個獨立的話語，既不存在相互參照，也不依賴過去對話的其它話語。
雷鋒網(***：雷鋒網)注：【 **：microsoft 所有者：microsoft 】
舉個例子，如果將「我討厭喝咖啡。- - 為什麼?它挺好喝的啊。」轉化成「為什麼會討厭喝咖啡呢?它挺好喝的啊。」，這就借用了「它」和「為什麼」。其中，「它」指代的是對話中提到的咖啡，「為什麼」則是「為什麼討厭喝咖啡」的縮寫形式。
對此，研究人員設計了乙個機器學習系統——上下文重寫網路(雷鋒網按：context rewriting network， crn)，來實現端到端的流程自動化。這個系統是由乙個序列到序列模型組成的，它能夠將固定長度的話語對映到固定長度的重寫句子上。並且，它還具有乙個獨立的注意力機制，這個機制能夠通過xyddnmj最後話語中的不同單詞來幫助它從上下文中複製單詞。
那麼，這個系統是如何被設計出來的呢?
首先，微軟研究團隊使用偽資料對模型進行了訓練，這些偽資料是通過提取上下文的關鍵字，將這些關鍵字插入到原始對話中的最後話語中來生成的。然後，為了讓最後的響應影響重寫過程，他們利用了強化學習去推動系統朝著目標前進。
雷鋒網注：【 **：microsoft 所有者：microsoft 】
在一www.cppcns.com系列實驗中，該團隊評估了他們的方法在幾種重寫質量，多回合響應生成，多回合響應選擇以及基於端到端檢索的任務上的應用。他們注意到，由於他們的模型更傾向於從上下文中提取更多的單詞，因此該模型在強化學習後偶爾會變得不穩定，不過，這也顯著地提公升了話語的多樣性。
微軟研究團隊認為，他們的工作朝著更易解釋和更易控制的上下文建模中邁進了一步。另外，該研究團隊還表示，他們的模型可以從嘈雜的語境中提取出重要的關鍵詞，然後將這些關鍵詞程式設計客棧插入到最後的話語中，使其不僅變得易於控制和解釋，還有助於將資訊直接傳遞到最後的話語中。
本文標題: ai 怎麼知道人類對話在說什麼？微軟研究團隊告訴你
本文位址: /news/en/280233.html
AI與人類鬥嘴誰更強？
在很多遊戲和圍棋比賽中，人工智慧 ai 都展現出了 超人 能力，現在，它又開始衝擊辯論賽了。nature最新封面 ibm開發了一種用於與人類辯論的人工智慧系統。在發表於 自然 雜誌上的 中，研發團隊成員描述了他們的系統以及與人類對手對抗時的表現。鄧迪大學的克里斯 里德 chris reed 在同一期...
未來AI並不Care人類，主要對其他AI感興趣
人類最擔心的應該就是出現 和你自己相似的生物 人工智慧技術的先驅jurgen schmidhuber說，ai可能會導致或形成一種 極端形式的競爭 或者說就是一場戰爭。不過，schmidhuber預計，未來的ai將主要對其他ai感興趣。人工智慧有一天會比人類更聰明，但據人工智慧的先驅說，我們沒有理由去...
AI的勝利，人類的榮耀
在圍棋界，ai戰勝人類，這不是人類的恥辱，是人類的榮耀。看到柯潔悲傷哭泣的畫面，曾經放出豪言的大男孩，低下了驕傲的頭。我相信經過這樣一次挑戰，對他的成長有好處，無論是人生，還是棋藝。在圍棋領域，人類只是被自己創造的像自己的人工智慧，打敗了自己，我確信，以後在越來越多的領域，ai將全面超越人類。那麼將...