遷移學習演算法之TrAdaBoost

2021-08-28 02:57:10 字數 964 閱讀 3650

**

tradaboost演算法由來已久,具體演算法可以參考作者的原始文章,boosting for transfer learning。

1.問題定義

傳統的機器學習的模型都是建立在訓練資料和測試資料服從相同的資料分布的基礎上。典型的比如有監督學習,我們可以在訓練資料上面訓練得到乙個分類器,用於測試資料。但是在許多的情況下,這種同分布的假設並不滿足,有時候我們的訓練資料會過期,而重新去標註新的資料又是十分昂貴的。這個時候如果丟棄訓練資料又是十分可惜的,所以我們就想利用這些不同分布的訓練資料,訓練出乙個分類器,在我們的測試資料上可以取得不錯的分類效果。

定義問題模型如下:設

測試資料:

其中測試資料是未標註的,我們可以將訓練資料劃分為兩個資料集:   

其中測試資料是不同分布的,現在的任務就是給定很少的源資料

2.tradaboost演算法

我們利用adaboost演算法的思想原理來解決這個問題,起初給訓練資料t中的每乙個樣例都賦予乙個權重,當乙個源域

可以看到,在每一輪的迭代中,如果乙個輔助訓練資料被誤分類,那麼這個資料可能和源訓練資料是矛盾的,那麼我們就可以降低這個資料的權重。具體來說,就是給資料乘上乙個

可以看到,tradaboost演算法在源資料和輔助資料具有很多的相似性的時候可以取得很好效果,但是演算法也有不足,當開始的時候輔助資料中的樣本如果雜訊比較多,迭代次數控制的不好,這樣都會加大訓練分類器的難度。

深度學習之遷移學習

遷移學習 transfer learning 是一種機器學習方法,就是把為任務 a 開發的模型作為初始點,重新使用在為任務 b 開發模型的過程中。遷移學習是通過從已學習的相關任務中轉移知識來改進學習的新任務,雖然大多數機器學習演算法都是為了解決單個任務而設計的,但是促進遷移學習的演算法的開發是機器學...

機器學習筆記之 遷移學習

關於遷移學習不錯的博文,值得學習 1.2.a survey on transfer learning,sinno jialinpan,qiang yang,ieee trans 個人關於遷移學習的粗淺理解 在機器學習領域,我們的任務是對乙個模型給定充足的資料,對機器學習模型進行訓練 微調和優化,得到...

Python遷移學習 機器學習演算法

終有一天,人工智慧會像我們看待非洲平原上低階生物的化石一樣看待我們。在人工智慧眼中,人類只是直立行走的猿猴,用著粗糙的語言和簡陋的工具,從誕生起就注定會滅絕。電影 機械姬 機器學習是人工智慧中乙個流行的子領域,其涉及的領域非常廣泛。流行的原因之一是在其策略下有乙個由複雜的演算法 技術和方 組成的綜合...