元學習系列(1) 基本概念

2021-10-25 17:45:53 字數 840 閱讀 8330

兩個詞來區分元學習與它之前的深度學習的區別:ai(artificial intelligence)和agi(artificial general intelligence) 。 元學習致力於打造乙個具有一定通用性(能夠適用於不同場景、不同問題、甚至不同領域)的網路模型,而之前的ai是將自己的網路模型做到在某一領域具有更高精度、更好泛化性和魯棒性的網路。

第一步:給定乙個network structure,在該給定的network structure下定義乙個初始引數向量fai0;

第二步:預備好n個訓練任務(trainning task),每個訓練任務都各有一組training data和一組test data。不同組的資料型別最好差異化,使得資料本身多樣,從而讓訓練的模型能夠具有更好泛化性。

第三步:在第一組trainning task下做一次迭代,得到乙個小loss,並用loss計算它的梯度(多迭代一次,計算第二次的梯度,去更新fai0->fai1);第二組trainning task下做一次迭代,得到乙個小loss,並用loss計算第二組的梯度(多迭代一次,計算第二次的梯度,去更新fai1->fai2);…依次迴圈完所有的n個trainning task。 最後得到的網路模型未必是單個種類上最優的引數,但是確實最具有潛力的,後面通過test data再訓練後,能夠讓它在單個領域內,能夠達到更好的精度,接近最優解。

第四步:要把上面訓練出來的網路用於具體某一領域問題的時候,需要先用測試任務進行二次初始化。設定n個測試任務(testing task),每一組測試任務裡面都有各有一組training data和一組test data,進行網路二次訓練,然後使得網路適用於當前的問題。

第五步:驗證任務,相當於ai裡面的測試過程,驗證該網路的精度、時效性和魯棒性等各項效能。

強化學習系列 1 基本概念

figure 1 1 reinforcement learning is a multidisciplinary concept 3.強化學習如何解決問題以及一些相關概念 強化學習不同於有監督學習和無監督學習,它不關心輸入長什麼樣子,只關心當前輸入下應該採用什麼樣的動作才能實現最終目標。當前採用什麼...

機器學習(1) 基本概念

神經網路技術起源與上世紀50年代。當時叫做感知機。擁有輸入層,輸出層和乙個隱含層。這種感知機被稱為單層感知機 1959,機器學習被定義為不直接程式設計的情況下賦予計算機學習能力。1974年哈佛大學的paul werbos發明bp演算法。bp演算法正是用來求解這種多層復合函式的所有變數的偏導數的利器。...

機器學習1 基本概念

1.機器學習定義 機器學習 arthur samuel,1959 在確定程式設計之外給予計算機學習能力的研究領域。機器學習 tom mitchell,1998 如果電腦程式對於任務t的效能度量p通過經驗e得到了提高,則認為此程式對e進行了學習。2.機器學習四個主要內容 監督學習 包括回歸 連續性問題...