遷移學習綜述

如果用一種圖來表示遷移學習的思想的話，那就是：

' style="cursor: pointer; max-width: 100%; max-height: 321px">

knowledge

[not supported by viewer]

learning system

[not supported by viewer]

一些基本的標籤以及資料集之間的關係就不做過多的敘述了，我們用 \(\mathcal=\, p(x)\}\) 表示資料域，那麼假設 \(d_=\left\}, y_}\right), \ldots,\left(x_}}, y_}}\right)\right\}\) 表示源域 \(\mathcal_\) , 而 \(d_=\left\}, y_}\right), \ldots,\left(x_ t}, y_}}\right)\right\}\) 表示目標域 \(\mathcal_\) , 那麼遷移學習的定義就是：

給出乙個源域 \(\mathcal_\) 與學習任務 \(\mathcal_\) ，以及乙個目標域 \(\mathcal_\) 與另乙個學習任務 \(\mathcal_\)，那麼遷移學習就是提高目標函式 \(f_(\cdot)\) 在 \(\mathcal_\) 中的準確率，但是只能使用 \(\mathcal_\) 與 \(\mathcal_\) 的知識，但是 \(\mathcal_ \neq \mathcal_,\) 或者 \(\mathcal_ \neq \mathcal_\)

這就表明：\(p\left(y_ | x_\right) \neq p\left(y_ | x_\right)\) 必須滿足，也就是要麼資料域不同，如果是在相同的資料域下面，那就是所關注的主題不同，

這個問題也就是，「遷移什麼進行學習」，「如何進行遷移學習」，「什麼時候遷移學習」，

遷移學習的分類：

學習的分類

源域與目標域

源域與目標域的任務

傳統的機器學習

相同相同

遷移學習

歸納遷移學習

無監督遷移學習

相同不同但是相關

不同但是相關

直推式遷移學習

不同但是相關

相同我們通常想到的都會是「資料」與「模型」，這兩個方面，那麼資料上就是特徵，資料集，這些，然後是模型上是模型的引數，總的方法通常是下面這幾種：

遷移學習的方式

簡單的描述

instance-transfer

假設源域的資料可以通過簡單的重新組織權重直接在目標域使用

feature-representation-transfer

可以找到乙個很好的特徵降低在源域與目標域之間的不同

parameter-transfer

發現源域和目標域模型之間的共享引數或先驗，這有利於轉移學習

relational-knowledge-transfer

構建源域和目標域之間的關係知識對映。兩個域都是關係域

基於歸納轉移學習設定的上述定義，需要目標域中的一些標記資料作為訓練資料以引發目標**函式。這種方法主要是直接針對源域的資料，此方式有兩種情況：（1）源域中的標記資料可用，直接使用（2）源域中的標記資料不可用，而源域中的未標記資料可用。此方式中的大多數遷移學習方法都側重於前一種情況。

假設源域與目標域有相同的特徵與標籤，但是源域與目標域的資料分布不同，對於目標域來說，源域的資料有好有壞，tradaboost 演算法的思想就是通過迭代的重新加權，使「壞」影響的資料權重降低，同時提高對目標域可以提高效果的資料的權重。

在每一次迭代的過程中，tradaboost 演算法都會在加權的源域與目標域的資料上訓練分類器，但是錯誤僅僅計算在目標域的**上面，然後更新源域訓練資料的權重。

這種方法就是提取特徵，也可以說是特徵工程吧，主要思想就是提取出使源域與目標域差距最小的特徵，同時能夠最小化**與分類的誤差。這種方法有無監督的與有監督的。

這個問題，我們可以認為是最小化乙個誤差，這個誤差可以表示成：

\[\begin} & } \sum_^} l\left(y_},\left\langle a_, u^ x_}\right\rangle\right)+\gamma\|a\|_^(1)} \\ } & ^}\end

\]上述的式子中：\(a=\left[a_, a_\right] \in r^\) 表示的是引數矩陣，對於\((r, p)\)- 形式的 \(a\) 可以寫成 \(\|a\|_ :=\left(\sum_^\left\|a^\right\|_^\right)^}\) 。這個最優化問題，牽涉的引數比較多，解起來十分複雜，這裡不做過多的**。

無監督的情況，在源域中要實現對標籤的最優分類才能提取出關鍵的特徵，這一步是基礎

\[\begin \sum_\left\|x_}-\sum_ a_}^ b_\right\|_^+\beta\left\|a_}\right\|_} \\ \ \ \ \ \ \ \left\|b_\right\|_ \leq 1, \forall j \in 1, \ldots, s}\end

\]這一步我們獲取的是向量 \(b=\left\, b_, \ldots, b_\right\}\) 上式中的 \(\beta\) 是正則項

我們的第二步就是在目標域上最小化損失函式：

\[a_}^=\underset}}\left\|x_}-\sum_ a_}^ b_\right\|_^+\beta\left\|a_}\right\|_

\]在遷移學習中，不同域的損失函式中的權重可以是不同的。直觀上，我們可以為目標域的損失函式分配更大的權重，以確保我們可以在目標域中實現更好的效能。

這個過程十分複雜，給個式子簡單體會下：

\[\begin, v_, \xi_}}} & , v_, \xi_}\right)} \\ & } \sum_^} \xi_}+\frac} \sum_}\left\|v_\right\|^+\lambda_\left\|w_\right\|^} \\ } & }\left(w_+v_\right) \cdot x_} \geq 1-\xi_}} \\ {} & } \geq 0, i \in\left\\right\} \text t \in\}\end

\]與其他三種情境不同，基於關係知識的遷移學習方法處理關係域中的遷移學習問題，其中資料是可以由多種關係表示，例如網路資料和社交網路資料。這種方法並不假設從每個域中提取的資料是傳統假設的獨立且相同的分布。它嘗試將資料之間的關係從源域轉移到目標域。在這種情況下，提出了統計關係學習技術來解決這些問題。

舉個例子：

mihalkova 提出了一種演算法tamar，它通過跨關係域的馬爾可夫邏輯網路（mln）傳遞關係知識。 mlns是一種強大的形式主義，它將一階邏輯的緊湊表達與概率的靈活性結合起來，用於統計關係學習。在mln中，關係域中的實體由謂詞表示，它們的關係以一階邏輯表示。 tamar的動機是，如果兩個域彼此相關，則可能存在將實體及其關係從源域連線到目標域的對映。例如，教授可以被視為在學術領域扮演類似角色，擔任工業管理領域的經理。此外，教授和他或她的學生之間的關係類似於經理和他或她的工人之間的關係。因此，可能存在從教授到經理的對映以及從教授的學生關係到經理 - 工人關係的對映。在這種情況下，tamar嘗試使用為源域學習的mln來幫助學習目標域的mln。

遷移學習綜述

機器學習綜述

稀疏學習綜述

Qt學習綜述

遷移學習綜述

機器學習綜述

稀疏學習綜述

Qt學習綜述

相關推薦