2 OCR學習 CTC相關

一、ctc是什麼？

ctc可以生成乙個損失函式，用於在序列資料上進行監督式學習，不需要對齊輸入資料及標籤，經常連線在乙個rnn網路的末端，訓練端到端的語音和文字識別系統。(一句話總結就是當label長度小於input長度時，如何做損失函式。)原文

二、ctc過程

ctc網路的輸入

ctc網路的輸入是乙個樣本（影象）經過網路（一般是cnn+rnn）計算後生成的特徵向量（特徵序列）。

特徵序列裡各個向量是按序排布的，是從影象樣本上從左到右的乙個個小的區間對映過來的，可以設定區間的大小（寬度），寬度越小，獲得的特徵序列裡的特徵向量個數越多，極端情況下，可以設定區間寬度為1,這樣就會生成width（影象寬度）個特徵向量。

ctc網路的計算過程

ctc網路的計算是為了得到特徵序列最可能對應的標籤物件，對語音識別是一段話，對文字識別是一段文字。

1. 計算特徵序列裡n個特徵向量分別對應的n個可能結果的概率。如果當前的特徵向量的**結果不在樣本標籤列表裡，就置**結果為blank空格或下劃線。計算結果從乙個n維的特徵序列，得到乙個n×n的**序列。

2. 計算n×n的**序列對應的所有可能的結果的概率，中間涉及到去除重複字母和blank的操作。

n×n個特徵向量對應的所有可能結果有n的n次方個，涉及到組合學，計算所有可能概率的成本會很高，但是ctc運用了動態規劃以大幅降低計算的複雜性。

ctc網路的輸出

對識別過程，取出最大概率對應的結果作為識別結果輸出;

對訓練過程，取最大概率對應的結果跟真實標籤之間的差異（計算編輯距離等方法），作為訓練loss，反向傳輸給前端網路。

ctc計算過程示意圖：