a neural dirichlet process mixture model for task-free continual learning
儘管人們對持續學習的興趣日益濃厚，但大多數當代作品都是在相當侷限的環境下進行研究的，其中任務可以清晰地區分，並且在訓練過程中任務邊界是已知的。但是，如果我們的目標是開發一種可以像人類一樣學習的演算法，則此設定遠非現實可行，因此開發一種無任務方式工作的方法至關重要。同時，在持續學習的幾個分支中，基於擴充套件的方法具有通過分配新資源來學習新資料來消除災難性遺忘的優勢。在這項工作中，我們提出了一種基於擴充套件的方法來進行無任務的持續學習。我們的模型稱為連續神經dirichlet過程混合（cn-dpm），由一組負責資料子集的神經網路專家組成。 cn-dpm在貝葉斯非引數框架下以有原則的方式擴大了專家的數量。通過廣泛的實驗，我們證明了我們的模型可以成功執行針對諸如影象分類和影象生成等判別性任務和生成性任務的無任務持續學習。
•我們是最早提出針對無任務cl的基於擴充套件的方法的團隊之一。 因此，我們的模型不僅可以防止災難性的遺忘，而且可以應用於在訓練和測試時都沒有給出任務定義和邊界的情況。 我們名為cn-dpm的模型由一組神經網路專家組成，這些專家以有原則的方式進行了擴充套件，這些原則是基於一般cl研究中尚未採用的貝葉斯非引數建立的。
•我們的模型可以處理cl的生成任務和判別任務。 通過針對mnist，svhn和cifar 10/100的cl文獻的幾個基準實驗，我們證明了我們的模型成功執行了多種型別的cl任務，包括影象分類和生成。
圖1：我們的cn-dpm模型概述。 每個專家k（藍色框）都包含乙個判別式用於建模p（y | x;φkd）的元件和用於建模p（x;φkg）的生成元件，共同表示p（x，y;φk）。 我們還保留每個專家分配的資料計數nk。 （a）在訓練過程中，每個專家對序列中的每個樣本（x，y）進行評估，以計算每個專家的責任ρk。 如果ρk+ 1足夠高，即沒有現有專家負責，則將資料儲存到短期儲存器（stm）中。 否則，由相應的專家學習。 stm填滿後，將根據stm中的資料建立乙個新的專家。 （b）由於cn-dpm是乙個生成模型，因此我們首先計算給定x的聯合分布p（x，y），從中可以輕易推斷出p（y | x）。
個人認為：實際並沒有想象中的理想化，效果可能一般
C Task的使用 連續的任務
通過任務，可以指定在任務完成之後，應開始執行之後另乙個特定任務。例如，乙個使用前乙個任務的結果的新任務，如果前乙個任務失敗了，這個任務就應執行一些清理工作。任務處理程式都不帶引數或者帶乙個物件引數，而任務的連續處理方法都有乙個task型別的引數，這裡可以訪問起始任務的相關資訊 如下面的示例 usin...
BP神經網路的學習
神經網路模型由輸入層 隱藏層和輸出層組成。每一層都能夠看作是上一層 如果有 的輸出層和下一層 如果有 的輸入層。先來介紹一下向前傳遞演算法。如圖1所示即為簡單的三層神經網路模型向前傳遞演算法的計算過程。我們可以a l 表示第l層單元的資料，與邏輯回歸類似，a l g z l 這樣可以很容易看出哪乙個...
神經網路的學習演算法
1.有監督學習 網路的輸出和期望的輸出 即監督訊號 進行比較，然後根據兩者之間的差異調整網路的權重，最終使差異變小。2.無監督學習 輸入模式進入網路後，網路按照預先設定的規則 如競爭規則 自動調整權重，使網路具有模式分類等功能。3.再勵學習 介於上述兩者之間的一種學習方法。1.hebb學習規則 如果...