原文出處：
參考源：
-----監督學習和強化學習這種方法的目標都是為了最小化kl差異
1.什麼是kl divergence？
kl散度是一種概率分布與另一種概率分布的差異的度量。 在貝葉斯理論中，存在一些真實分布p（x），如果我們想估計乙個近似分布q（x）， 在這種情況下，使用kl散度測量從近似分布q到真實分布p之間的差異。假設p,q兩種分布在同一空間中，那麼從q到p的kl散度可以表示為：
2.kl性質
3.前向和反向的kl
從前面的描述中，我們知道p(x)表示乙個真實的分布，q（x）是需要去擬合p（x）的乙個近似分布，在兩者之間我們使用θ引數來控制q，以期達到我們需要的目標分布。這實際上是乙個優化問題，怎麼找到最接近真實p的q分布。由於「p到q」和「q到p」之間的散度是不一樣的，衍生出如下兩種待優化的目標函式：
不同的目標函式會導致不同型別的近似值。假設p（x）是雙峰分布，嘗試使用正態分佈q（x）= n（μ，σ2）對p進行近似擬合。
對前向目標函式進行優化：
未完待續...
機器學習 機器學習中的損失函式
在機器學習中，損失函式是用來衡量 結果與實際值之間差別大小的指標。一般的損失函式有5五種 l m 01ifm 0ifm 0 主要用於maximum margin的分類演算法，如svm演算法。hinge損失函式的描述如下式 l y max 0 1 t y 這裡t 1 or 1 y是 值，而t 是實際真...
機器學習 機器學習中的基礎概念
基本概念 訓練集,測試集,特徵值,監督學習,非監督學習,半監督學習,分類,回歸 概念學習 人類學習概念 鳥,車,計算機 定義 概念學習是指從有關某個布林函式的輸入輸出訓訓練陽曆中推斷出該布林數 例子 學習 享受運動 這一概念 小明進行水上運動,是否享受運動取決於很多因素 這裡舉乙個例子 小明是否進行...
機器學習2 1 機器學習中的特徵選擇
特徵提取演算法分為特徵選擇和特徵抽取兩大類 常採用特徵選擇方法。常見的六種特徵選擇方法 df document frequency 文件頻率 df 統計特徵詞出現的文件數量，用來衡量某個特徵詞的重要性 mi mutual information 互資訊法 互資訊法用於衡量特徵詞與文件類別直接的資訊量...