1 . 動因
在靈長類的大腦視覺皮層系統中，有一類對亮度敏感的神經細胞，它們的接受域都由乙個圓環及其內部的圓形部分組成[5] 。這些細胞可以分為兩類：① on-center/off-surround 細胞，對黑暗背景上的亮點敏感。② off-center/on-surround 細胞，對亮背景上的暗點敏感。這兩類細胞負責視覺資訊的早期處理，主要觀察空間中亮度的變化。而濾波器在cnn 中也扮演著接受域的角色，受此啟發，我們使用 caltech101 的資料集訓練了乙個由普通卷積層組成的簡單 cnn，並觀察訓練時濾波器的變化過程。在網路訓練收斂之後，發現若干濾波器也具有相反的關聯關係，儘管這些濾波器都是隨機初始化和使用普通梯度下降方法訓練的，如圖 1 所示。
除此之外，這種相反的關聯只出現在輸入層後緊跟著的第乙個卷積層，與視覺皮層中具有相反接受域的神經細胞所處位置一致。更進一步地，我們在更深的卷積層中探尋類似的關聯關係，從而發現某些參與輸出同一特徵圖的濾波器具有平移關聯，如圖 2 所示。圖中的四個濾波器同樣採用隨機初始化，卻表現出了豎直方向平移的關聯性。考慮到所有的濾波器都是使用普通反向傳播方法訓練生成的，這種演算法只是將權值朝減小代價函式的方向更新，每個濾波器之間的訓練並沒有聯絡。但這些關聯性卻又總是穩定地存在，所以這種關聯性不是偶然的，而很有可能是高效提取視覺特徵的必要條件。
基於以上的觀察，我們想到在訓練網路之前就預先人工設定這些關聯，至少能夠加速網路模型整體的收斂速度。目前已經實現了反向關聯和平移關聯。
2 . 相反關聯濾波器
在部署相反關聯濾波器時，首先需要在乙個普通卷積神經層中隨機地選取若干對濾波器，以構造關聯。為了與實際觀察相一致，這些濾波器都來自緊挨著原始輸入影象的卷積層，並且分別用於生成不同的輸出特徵圖。在每一對相反關聯濾波器中，乙個濾波器成為主濾波器，另外乙個則是從濾波器，這兩個濾波器矩陣的對應位置元素相反，如圖3所示。
(a) 在訓練前隨機初始化的兩個示例濾波器(b) 上述兩個濾波器訓練之後，幾乎完全相反圖 1 訓練普通 cnn 後觀察到的濾波器相反關聯性圖 2 訓練普通 cnn 後觀察到的濾波器平移相關性在開始迭代訓練之前，我們將從濾波器初始化為主濾波器的相反值。除此之外，為了保證在每一次迭代週期後從濾波器都能保持與其主濾波器互反，還需要對其反向傳播時的殘差新增修正。公式(1) 與公式 (2) 分別描述了主濾波器和從濾波器的更新向量。
其中， 表示主濾波器在第i個週期的更新偏移量，則表示與之對應的從濾波器在第 i 個週期的更新偏移量； 是主濾波器在第 i 個週期的殘差；m和 l 則分別表示衝量因子和學習率，兩者都是常量。公式中所述的權值更新方法實質上將主 / 從濾波器的權值視為乙個整體，綜合兩者的殘差即求得這一對濾波器的更新向量。除此之外，卷積層中蘊含的相反關聯濾波器的數量可以靈活控制，在保證濾波器多樣性的前提下，這些關聯濾波器對能夠穩定提取不同明暗條件下的同種特徵。
平移關聯濾波器
平移關聯濾波器在很多方面都與相反關聯濾波器類似。首先，我們仍然將濾波器分為若干組來體現關聯性，每一組也依舊包含主 / 從濾波器。但每個主濾波器擁有兩個從濾波器，分別是將主濾波器以相反的兩個方向平移獲得。在此基礎上，平移關聯濾波器組又分為兩個類別，分別表示水平方向的平移以及垂直方向的平移。遵照圖 2 中發現關聯的位置，平移關聯濾波器作為一種處理抽象特徵的方法被應用於深層次的卷積神經層中。
如圖 4 所示，對於某乙個從濾波器而言，它的一半的權值被設定為與其主濾波器的對應部分相同，剩餘的另一半權值則由自由訓練得到，不受關聯影響。這些被關聯的權值分別位於主 / 從濾波器的不同位置，由此產生的平移關係能夠保證輕微偏移的特徵仍然能被檢測到。同相反關聯濾波器相類似，我們也需要為被關聯的權值增加殘差修正：對於主濾波器中的每乙個權值，如果它也出現在從濾波器中，則將主 / 從濾波器中的殘差加和作為最終的殘差。這種修正綜合考慮了主 / 從雙方的需求，使得被關聯的濾波器在協同處理的同時，穩定地沿著梯度方向收斂。
將相反濾波器和平移濾波器應用到 nin [11] 中描述的網路結構上，使用相同的資料擴增方法，我們在 cifar-10 資料集上獲得了 7.75% 的錯誤率，優於 nin 給出的 8.81%。
《中國人工智慧學會通訊》 2 24 結 果
我們將人類 bpl 以及其他模型在 5 個概念學習任務上的結果並列進行對比，檢驗僅從乙個或一些樣例得到的不同形式的泛化 見圖 5 的樣例任務 所有的行為實驗都是通過亞馬遜土耳其機械人 mechanical turk 進行的，實驗的詳細流程請參考 s5 章節。主要實驗結果總結在圖 6 中，額外的殘缺分...
《中國人工智慧學會通訊》 3 28 討 論
近年來，各種型別的 機械人層出不窮，人機互動控制策略對於 機械人實現臨床應用意義重大。通過上文的回顧分析，可以看出，現有人機互動控制依然存在如下問題。目前還不存在一種通用的人機互動控制策略。針對患者損傷部位及損傷程度採用合適的控制策略是常規的方案，但正如前文所述，現有 機械人系統的互動控制系統通常缺...
《中國人工智慧學會通訊》 1 32 詞嵌入
在此基礎上，也有研究者關注如何利用已有的知識庫來改進詞嵌入模型。wang 等人 5 結合知識圖譜和未標註語料在同一語義空間中來聯合學習知識和詞的向量表示，這樣可以更有效地實體詞的嵌入。rothe等人 6 直接利用 wordnet 知識庫的詞和語義集的關係來學習詞嵌入，能更好地利用已有的知識庫。該 獲...