未完待續。。。
深度學習已經廣泛應用於各個領域，解決各類問題，傳統的深度學習需要大量的資料來訓練出乙個好的模型。然而，在我們生活中，有些問題要獲取大量樣本是不現實的，獲取的成本也非常大，比如在醫療領域、安全領域等。那麼我們是否能像人類一樣，只需學習很少的樣本，就能準確的識別出新的樣本？這就是小樣本學習問題（few-shot learning）
在訓練的時候加入乙個正則項，例如「few-shot classification on graphs with structural regularized gcns」中，作者在訓練的時候給損失函式加了乙個正則項。作者將 feature 到 embedding 的過程看成編碼器 encoder，然後額外加了幾層網路作為 decoder，將 embedding 重構為 feature ，然後重構誤差作為正則項，準確率從 40% 提公升了大約 10 個百分點。
定義：通過大量的資料，現在的ai系統能從0開始學習乙個複雜的技能。我們希望ai系統能獲得多種技能並能適應各種環境，但針對每種技能都從0開始訓練是無法承受的。因此，我們希望它能夠從之前的經驗快速地學習新的技能，而不是把新的任務孤立地考慮。這個方法，我們稱為元學習（learning to learn,或meta learning）
簡單地說就是：先學習乙個先驗知識（prior），在這個先驗知識的基礎上，解決新的問題。
meta-learning 需要一些類來構建 meta-training task。由於 meta-testing 的類別要和 meta-training 完全不同，因此如果我們只有 mnist 資料集，沒法使用 meat-learning 來解決 mnist 上的 10-way few-shot learning 問題，但是方法 2.1 可以。不過我們可以使用 meta-learning 解決 mnist 上的 n-way (n < 6) 的 few-shot learning 問題。那麼如果我們非要解決 mnist 上的 10-way few-shot learning 問題怎麼辦呢，可以在另外乙個資料集，例如 omniglot ，上面進行 meta-training，然後學到的先驗知識用來解決這個問題。
meta-learning 中 task 的概念是和 meta-learning 的本質有關的。meta-learning 其實還有乙個名字叫做「學會學習」 (learn to learn)，這來自於對人類智慧型的基本認知：我們人類學習乙個東西的時候不是從頭開始學的，都是基於之前學習的知識來進行學習的。但是我們的深度學習模型呢，學習新的東西（可以看成新的類，新的 task）需要從頭開始學習（ 當然需要大量的樣本 ），即使你之前學過特別類似的東西。因此 meta-learning 就像讓深度學習學會學習，利用之前學過的知識在面對新的問題可以學習得又快又好
maml（《model-agnostic meta-learning for fast adaptation of deep networks》） 是這類方法的範例之一。maml 的思想是學習乙個 初始化引數 (initialization parameter)，這個初始化引數在遇到新的問題時，只需要使用少量的樣本 (few-shot learning) 進行幾步梯度下降就可以取得很好地效果（ 參見後續部落格 ）。另乙個典型是《optimization as a model for few-shot learning》，他不僅關注於初始化，還訓練了乙個基於 lstm 的優化器 (optimizer) 來幫助微調。
最直觀的方法，使用基於 rnn 的技術記憶先前 task 中的表示等，這種表示將有助於學習新的 task。
參考**：《meta networks》和 《meta-learning with memory-augmented neural networks.》
小樣本學習 元學習
自深度學習發展起來之後，智慧型化的各種裝置也慢慢變多，但是對於智慧型化的程式來說，需要數以萬計甚至百萬千萬的資料行進訓練，以近年來最為出名的alphago為例，雖然下棋的是一台電腦，但其後台需要龐大的資料支援訓練才能達到這樣的效果。所以這也是深度學習的乙個短板，訓練資料需要太多，但有時一些訓練任務並...
小樣本學習
眾所周知，深度學習是機器學習發展中乙個非常重要的里程碑，在很多任務上深度學習都取得了巨大的成功。然而，由於深度模型包含的引數很多，通常需要大量的有標籤的資料才能進行模型訓練，這點嚴重地限制了它的應用 在很多場景下，收集大量的有標籤的資料是非常昂貴 困難 甚至不可能的，比如醫療資料 手機上使用者手動標...
小樣本學習 few shot learning
首先需要宣告的是，小樣本學習屬於遷移學習。接著，舉個例子詳細闡述。人類從未見到過 澳大利亞的鴨嘴獸 給我們一張鴨嘴獸的 後，人類就認識了！有的朋友可能會想，為什麼我們人類總是能快速的學習到未知的事物？簡單的說，是因為人類生活中各種知識的積累以及人類天生的思考能力 如 模擬能力 知識的積累意味著我們是...