眾所周知，深度學習是機器學習發展中乙個非常重要的里程碑，在很多任務上深度學習都取得了巨大的成功。然而，由於深度模型包含的引數很多，通常需要大量的有標籤的資料才能進行模型訓練，這點嚴重地限制了它的應用：在很多場景下，收集大量的有標籤的資料是非常昂貴、困難、甚至不可能的，比如醫療資料、手機上使用者手動標註的資料等。是否能僅利用少量帶標籤的資料來訓練就得到乙個好的模型？這已經成為機器學習的發展中乙個十分重要的課題，不論是學術界還是工業界都高度關注。
1.有一類小樣本學習的思路是元學習 (meta-learning) 方法。元學習的大致想法是利用大量跟目標任務相似的任務（或者歷史任務）來學習乙個元學習器 (meta-learner)，然後作用到目標任務上獲得乙個不錯的模型初值，從而能夠僅利用少量目標任務的資料對模型進行快速適配。我們在 pac-bayes 的框架下提出了乙個元學習演算法來得到乙個好的目標任務模型的先驗，並且給出了泛化誤差的上界，這是為數不多的元學習的理論工作。**實驗也驗證了我們的演算法比傳統的方法（比如 maml）要更好。
2.元學習中有一類是基於度量學習 (metric learning) 的小樣本學習。度量學習的大致想法是學習乙個強大的、具有良好遷移能力的特徵提取器 (feature extractor) 來直接應用到目標任務上。這樣，通過乙個少參或者無參的分類器（比如 nearest neighbour）就可以做小樣本分類任務了。傳統小樣本學習的方法，通常只使用基類資料進行學習。由於基類和新類之間存在嚴重的樣本不均衡問題，導致容易過擬合到基類資料，這一點在廣義小樣本問題中（在廣義小樣本問題中，測試樣本不僅包含新類，還包含了基類）尤為突出。我們提出在訓練階段引入新類的資料，同時對基類和新類學習基於度量學習的全域性類別表徵，能夠有效防止訓練模型在基類資料**現過擬合的現象，從而提高了模型泛化到新類的能力。
除了上面兩種直接針對小樣本學習的思路，我們也嘗試了通過自動機器學習 (automl) 來進行神經網路架構搜尋 (neural architecture search, nas)，從而獲得效能更優的 cnn 結構。神經網路架構搜尋的常見做法是首先設計乙個架構搜尋空間，然後用某種搜尋策略，從中找出乙個最優的網路架構。其中比較具有代表性的是 darts 演算法（differentiable architecture search，可微分的神經網路架構搜尋）。它把搜尋空間從離散的放鬆到連續的，從而能夠用梯度下降來同時搜尋架構和學習權重。我們提出一種可微分的神經網路架構搜尋演算法 darts+，第一次將早停機制（early stopping）引入到 darts 中，不僅減小了 darts 搜尋的時間，而且極大地提公升了 darts 的效能。此後陸續有一些工作（比如 robustdarts，fairdarts 等）也開始跟進研究早停機制的設計。
明年，我認為小樣本學習這個課題可以重點考慮以下幾個方向：
通過知識誘導來表達每種學習方法如何在不同的學習問題上執行，從而發現元知識。元資料是由學習問題中的資料特徵（一般的，統計的，資訊理論的......）以及學習演算法的特徵（型別，引數設定，效能測量...）形成的。然後，另乙個學習演算法學習資料特徵如何與演算法特徵相關。給定乙個新的學習問題，測量資料特徵，並且可以**不同學習演算法的效能。因此，至少在誘導關係成立的情況下，可以選擇最適合新問題的演算法。
stacking. 通過組合一些（不同的）學習演算法，即堆疊泛化。元資料是由這些不同演算法的**而形成的。然後，另乙個學習演算法從這個元資料中學習，以**哪些演算法的組合會給出好的結果。在給定新的學習問題的情況下，所選擇的一組演算法的**被組合（例如通過加權投票）以提供最終的**。由於每種演算法都被認為是在乙個問題子集上工作，所以希望這種組合能夠更加靈活，並且能夠做出好的**。
boosting. 多次使用相同的演算法，訓練資料中的示例在每次執行中獲得不同的權重。這產生了不同的**，每個**都集中於正確**資料的乙個子集，並且結合這些**導致更好（但更昂貴）的結果。
動態偏選擇(dynamic bias selection)通過改變學習演算法的感應偏來匹配給定的問題。這通過改變學習演算法的關鍵方面來完成，例如假設表示，啟發式公式或引數。
learning to learn，研究如何隨著時間的推移改進學習過程。元資料由關於以前的學習事件的知識組成，並被用於高效地開發新任務的有效假設。其目標是使用從乙個領域獲得的知識來幫助其他領域的學習。
小樣本學習 few shot learning
首先需要宣告的是，小樣本學習屬於遷移學習。接著，舉個例子詳細闡述。人類從未見到過 澳大利亞的鴨嘴獸 給我們一張鴨嘴獸的 後，人類就認識了！有的朋友可能會想，為什麼我們人類總是能快速的學習到未知的事物？簡單的說，是因為人類生活中各種知識的積累以及人類天生的思考能力 如 模擬能力 知識的積累意味著我們是...
小樣本點雲深度學習庫 小樣本學習 二
我對小樣本學習的誤解與困惑 我們的 小樣本 真的很小嗎？我們似乎習慣性的拿深度學習的大量資料集訓練，與人類嬰兒做對比。並藉此來嘲諷ai you are not as good as me,you are loser.但，最近的一些不連貫的思考，使我開始反思，我們人類小樣本真的比機器學習與深度學習小嗎...
小樣本學習 元學習
自深度學習發展起來之後，智慧型化的各種裝置也慢慢變多，但是對於智慧型化的程式來說，需要數以萬計甚至百萬千萬的資料行進訓練，以近年來最為出名的alphago為例，雖然下棋的是一台電腦，但其後台需要龐大的資料支援訓練才能達到這樣的效果。所以這也是深度學習的乙個短板，訓練資料需要太多，但有時一些訓練任務並...