3種基於深度學習的有監督關係抽取方法

摘要：本文對幾種基於深度學習的有監督關係抽取方法進行了介紹，包括cnn關係抽取、bilstm關係抽取以及bert關係抽取。

關係抽取是資訊抽取的重要子任務之一，其目標在於從文字中抽取出兩個或多個實體之間的語義關係。根據關係事實中涉及的實體數量，又可以進一步細分為二元關係抽取和多元關係抽取。本文中，關係抽取特指二元關係抽取。

輸入：句子、目標實體對（頭實體+尾實體）

輸出：目標實體對之間的語義關係
------------------------------------------------例1：
輸入：建安二十五年，曹操去世，葬於高陵，其子曹丕繼位魏王。
-頭實體：曹操
-尾實體：曹丕
輸出：兒子

在有監督的關係抽取中，關係抽取任務通常被建模成乙個多分類任務，大多數研究工作也圍繞著如何提取文字特徵用於關係分類展開。本節將介紹三種用於關係抽取的常用方法。

主要思想：

使用cnn結構提取文字的句子級特徵用於關係分類。與文字分類任務不同的是，在關係抽取任務中，頭實體和尾實體對關係的**和判斷有著重要的影響。例如，在例1中，如果頭實體是「曹丕」，尾實體是「曹操」，則實體對之間的關係變成了「父親」，即《曹丕，父親，曹操》。因此，在提取文字特徵時考慮實體對的位置是十分有必要的。在這篇文章中，通過引入位置向量的方法來指明頭實體和尾實體。如下圖所示，詞「高陵」 與頭實體「曹操」 和尾實體「曹丕」 的相對位置距離分別為4 和-3，可分別在頭實體和尾實體對應的位置向量表中查詢得到對應的位置向量，再拼接得到詞「高陵」 的全部位置向量。最後，拼接上詞的原本向量表示，得到最後的詞向量化表示。最後，使用乙個卷積神經網路提取句子級的文字特徵，用於關係分類。

主要思想：

使用bilstm作為特徵提取器提取文字特徵，並結合注意力機制捕捉文字中的重要特徵。在這篇文章中，對文字進行編碼時，使用了四個位置指示符（，，，）標記實體的位置。例如，在例1中，輸入文字就變成了「建安二十五年，曹操去世，葬於高陵，其子曹丕繼位魏王。」，表明「曹操」是頭實體，「曹丕」是尾實體。通過位置指示符，可以使模型感知實體的位置，強化模型對於實體關係的理解。然後，使用bilstm提取深層次的文字特徵。在關係抽取中，區域性特徵常常足以推測判斷實體對的關係。在例1中，「其子」 一詞就是**「曹操」 和「曹丕」 之間人物關係的最重要特徵。在這篇文章中，使用句間注意力機制對bilstm提取的文字特徵進行組合，提取其中最重要的語義特徵資訊。具體如下：

其中，h \in r^h∈rdω×t​是bilstm的輸出， d^\omegadω​ 是隱層維度，tt​ 是句子長度， \omegaω​ 、 \alphaα​ 、rr​的維度分別為 d^\omegadω​ 、tt​、d^\omegadω​。最後使用特徵向量rr進行關係分類。

主要思想：

使用bert抽取句子的文字特徵用於關係分類。與上節相似，在這篇文章中，也是用特殊符號標記實體的位置，在頭實體和尾實體周圍分別插入「$」和「#」，並在每個句子的開始位置新增「[cls]」，然後將目標文字輸入到bert中。關係分類的特徵來自於三個部分：句子的整體特徵，頭實體特徵以及尾實體特徵。在bert 預訓練時， 「[cls]」被nsp任務用來判斷句子對的關係，從而能夠學習到對整個句子的表達。因此，句子的整體特徵通過 「[cls]」來獲取：

其中，h_0 \in r^dh0​∈rd是bert的cls輸出向量，dd是bert的隱層維度。

而實體對特徵則通過對實體的bert輸出做均值化處理獲取。具體如下：

最後，將獲取的句子特徵及實體特徵拼接得到最後的特徵向量，進行關係分類。

本文對幾種基於深度學習的有監督關係抽取方法進行了介紹，包括cnn關係抽取、bilstm關係抽取以及bert關係抽取。

點選關注，第一時間了解華為雲新鮮技術~

基於強化學習的關係抽取和文字分類

本文為 11 月 22 日，清華大學計算機系 馮珺博士在第 18 期 phd talk 中的直播分享實錄。隨著強化學習在機械人和遊戲 ai 等領域的成功，該方法也引起了越來越多的關注。本期 phd talk，來自清華大學計算機系的博士生馮珺，為大家介紹了如何利用強化學習技術，更好地解決自然語言處理中...

基於深度增強學習的無監督儲存系統效能調優

1，摘要 儲存系統的引數調整是儲存系統優化的乙個重要方法，當前的引數調整實踐通常涉及大量的基準調整週期，耗時耗力，所以需要乙個無監督模型來進行引數調優，深度學習 增強學習可以實現這樣乙個無監督的儲存系統優化模型，小到客戶端 服務端系統，大到到資料中心，都可以使用這個模型。2，問題 引數調優主要有四個...

一種基於ccs3的timeline實現方法

該控制項的實現過程較為簡單，主要由test.html檔案和timeline.css檔案組成。具體 如下 1 標題一label class date t1span class circle span div class content 長安元年 701年 李白，字太白。其生地今一般認為是唐劍南道綿州 ...