mmd距離（maximum mean discrepancy)
最大均值差異（maximum mean discrepancy），度量在再生希爾伯特空間中兩個分布的距離，是一種核學習方法。兩個隨機變數的距離為：
其中k(.)是對映，用於把原變數對映到高維空間中。x,y表示兩種分布的樣本，f表示對映函式集。
基於兩個分布的樣本，通過尋找在樣本空間上的對映函式k，求不同分布的樣本在k上的函式值的均值，通過把兩個均值作差可以得到兩個分布對應於k的mean discrepancy。尋找乙個k使得這個mean discrepancy有最大值，就得到了mmd。最後取mmd作為檢驗統計量（test statistic），從而判斷兩個分布是否相同。如果這個值足夠小，就認為兩個分布相同，否則就認為它們不相同。更加簡單的理解就是：求兩堆資料在高維空間中的均值的距離。
近年來，mmd越來越多地應用在遷移學習中。在遷移學習環境下訓練集和測試集分別取樣自分布p和q，兩類樣本集不同但相關。我們可以利用深度神經網路的特徵變換能力，來做特徵空間的變換，直到變換後的特徵分布相匹配，這個過程可以是source domain一直變換直到匹配target domain。匹配的度量方式就是mmd。
MMD新人學習記錄部落格1
mmd學習記錄 2019 12 18 第一次進行部落格記錄，不僅動畫學習在探索階段，部落格的書寫也同樣處在摸索階段。所以也希望能在動畫學習過程中慢慢提公升部落格的製作水平。沒錯，只會用載入檔案，一般背景檔案都在場景模型裡直接匯入了的說。表情功能是簡化操作使用的，控制角色眨眼動嘴等臉部細節的。製作精美...
遷移學習 自我學習
最近在看ng的深度學習教程，看到self taught learning的時候，對一些概念感到很陌生。作為還清技術債的乙個環節，用半個下午的時間簡單搜了下幾個名詞，以後如果會用到的話再深入去看。監督學習在前一篇部落格中討論過了，這裡主要介紹下遷移學習 自我學習。因為監督學習需要大量訓練樣本為前提，同...
深度學習 遷移學習
遷移學習 把公共的資料集的知識遷移到自己的問題上，即將已經訓練好的模型的一部分知識 網路結構 直接應用到另乙個類似模型中去 小資料集 利用遷移學習，應用其他研究者建立的模型和引數，用少量的資料僅訓練最後自定義的softmax網路。從而能夠在小資料集上達到很好的效果。例如 imagenet 資料集，它...