編解碼器如何處理長句子編碼問題

2021-10-21 19:22:24 字數 485 閱讀 1232

統計機器翻譯——>神經機器翻譯——編解碼器如何處理長句子?基於短語的傳統方法:

1、神經機器編解碼器,始終是先把輸入的句子序列處理成乙個固定長度的向量。這其中暴露的問題,

其一,要把源句子所包含的資訊壓縮成固定長度的向量,而且是很多長句子,可能比語料庫中的句子多——長句子的災難問題

其二,如果語料庫中長句子沒有得到很好的訓練,第一效能與速度問題,第二神經網路也是很難處理長句子的

解決辦法:

引入乙個自動擴充套件的編碼器-解碼器模型學習共同調整和翻譯每次提出的模型在翻譯中生成乙個詞,

它(軟-)搜尋源句中最相關資訊的一組位置集中。然後,該模型根據相關的上下文向量**目標詞

這些源位置和之前生成的所有目標詞。

實現過程:

將原來固定長度的向量,分解為乙個個帶有序列標誌的小向量,在解碼的時候,向量序列自動與對應的向量對齊,這也省去編碼固定

長度的向量,還可以很好的編碼長句子。

軟對齊和翻譯概率聯合模型

撥開字元編碼的迷霧 編譯器如何處理檔案編碼

使用visual studio建立的c 工程可以在工程屬性配置屬性 常規中配置字符集 使用unicode字符集 預設 使用多位元組字符集。這個設定項不對字元編碼產生直接的影響 注意這裡的 直接 二字,第3節會說到 只會在工程屬性配置屬性 c c 預處理器加入相應的巨集 使用unicode字符集 un...

撥開字元編碼的迷霧 編譯器如何處理檔案編碼

使用visual studio建立的c 工程可以在工程屬性配置屬性 常規中配置字符集 使用unicode字符集 預設 使用多位元組字符集。這個設定項不對字元編碼產生直接的影響 注意這裡的 直接 二字,第3節會說到 只會在工程屬性配置屬性 c c 預處理器加入相應的巨集 使用unicode字符集 un...

編譯器如何處理型別轉換

在兩種型別之間做轉換,轉換結果將取決於兩種型別的精度 1.精度是n的有符號整數型別應該用n個bit表示,取值範圍至少應該覆蓋 2n 1,2n 1 例如signed char型用8個bit表示,表示的取值範圍是 128,127 也可以說是覆蓋了 128,128 所以這種型別的精度是8。2.精度是n的無...