簡介
bert是經過預先訓練的transformer模型，已在多個nlp任務上取得了突破性的效能。最近，我遇到了bertsum，這是愛丁堡的liu的**。本文擴充套件了bert模型，以在文字摘要上達到最新的分數。在此部落格中，我將解釋本文以及如何使用此模型進行工作。
提取摘要-類似於使用螢光筆。我們從原始文字中選擇文字的子段，以建立乙個很好的摘要
抽象性摘要-類似於用筆書寫。建立摘要以提取要點，並且可以使用原始文字中未包含的詞。這對於機器來說更難
文字摘要系統的效能通過其rouge得分來衡量。 rouge得分用於衡量**的摘要與基本事實摘要之間的重疊。
bert的主要技術創新是將流行的注意力模型transformer的雙向培訓應用於語言建模。它的成功表明，經過雙向訓練的語言模型比單向語言模型可以更深刻地理解語言環境和流程。這是學習bert的絕佳鏈結。
bert也可用於下一句**。該模型接收成對的句子作為輸入，並學習**成對的第二句話是否是原始文件中的後續句子。在訓練期間，輸入的50％是一對，其中第二句話是原始文件中的後續句子。而在其他50％中，從語料庫中隨機選擇乙個句子作為第二個句子。
使用bert提取文字摘要— bertsum model
修改了bert模型，以生成多個句子的句子嵌入。這是通過在每個句子的開頭之前插入[cls]令牌來完成的。然後，輸出是每個句子的句子向量。然後，將句子向量傳遞到多層，從而輕鬆捕獲文件級功能。將最終的彙總**與基本事實進行比較，並將損失用於訓練彙總層和bert模型。
architecture of bertsum model.png
bertsum模型架構
該模型在cnn /每日郵件和nyt注釋的語料庫上進行了訓練。由於來自兩個語料庫的基本事實是抽象摘要，因此建立了新的基本事實。貪心演算法用於為每個文件生成預言摘要。該演算法貪婪地選擇可以使rouge得分最大化的句子作為預言句。我們將標籤1分配給oracle摘要中選擇的句子，否則分配0。
本文顯示了文字摘要非常精確的結果，優於最新的抽象和提取摘要模型。見下表。這裡的第一行是指標生成器模型，在我的部落格中有更詳細的解釋。
bertsum result.png
文字分類 08 BERT
大綱概述 資料集合 資料處理 預訓練word2vec模型 word2vec預訓練詞向量 textcnn 模型 charcnn 模型 bi lstm 模型 bi lstm attention 模型 transformer 模型 elmo 預訓練模型 bert 預訓練模型 資料集為imdb 電影影評，總...
使用BERT做中文文字相似度計算與文字分類
最近google推出了nlp大殺器bert，bert transformer雙向編碼器表示 是google ai語言研究人員最近發表的一篇 它通過在各種nlp任務中呈現最先進的結果，包括問答系統 自然語言推理等，引起了機器學習社群的轟動。本文不會去講解bert的原理，如果您還不清楚什麼是bert建議...
BERT 處理中文文字任務
bert模型是google在2018年10月發布的語言表示模型，bert在nlp領域橫掃了11項任務的最優結果，可以說是現今最近nlp中最重要的突破。bert模型的全稱是bidirectional encoder representations from transformers，是通過訓練mask...