一文清晰理解表示學習

今天閱讀邱錫鵬教授的蒲公英書，對表示學習有了更清楚的認知。

為了提高機器學習系統的準確率，需要將輸入資訊轉換為有效的特徵，或者更一般性地稱為表示（representation）。如果有一種演算法可以自動地學習出有效的特徵，並提高最終機器學習模型的效能，那麼這種學習就可以叫作表示學習（representation learning）

表示學習的關鍵是解決語義鴻溝問題。語義鴻溝問題是指輸入資料的底層特徵和高層語義資訊之間的不一致性和差異性。

以顏色為例，以不同的名字來命名不同的顏色，這種表示方式叫作區域性表示，也稱離散表示或符號表示。通常表示為one-hot向量的形式。

同樣以顏色為例，用rgb值來表示顏色，不同顏色對應到r、g、b三維空間中乙個點，這種表示方式叫作分布式表示，分布式表示通常為低緯的稠密向量。

我們可以通過神經網路將高緯的區域性表示空間對映到乙個非常低緯的分布式表示空間。在機器學習中，這個過程也稱為嵌入（embedding），通常指將乙個度量空間中的一些物件對映到另乙個低緯的度量空間中，並盡可能保持不同物件之間的拓撲關係。

要學習到一種好的高層語義表示（一般為分布式表示），通常需要從底層特徵開始，經過多步非線性轉換才能得到。

深層結構的有點是可以增加特徵的重用性，從而指數級地增加表示能力。

因此，表示學習的關鍵是構建具有一定深度的多層次特徵表示。