** | ai小白入門【機器學習】知否？知否？廣義線性模型mp.weixin.qq.com作者&編輯 | 文傑、yuquanle
從線性回歸，logistic回歸，softmax回歸，最大熵的概率解釋來看，我們會發現線性回歸是基於高斯分布+最大似然估計的結果，logistic回歸是伯努利分布+對數最大似然估計的結果，softmax回歸是多項分布+對數最大似然估計的結果，最大熵是基於期望+對數似然估計的結果。前三者可以從廣義線性模型角度來看。
指數分布家族是指可以表示為指數形式的概率分布，指數分布的形式如下：
其中 是分布的自然引數，
是充分統計量，通常
。當引數
都固定的時候，就定義了乙個以
為引數的函式族。
實際上大多數的概率分布都屬於指數分布家族，比如：
1）伯努利分布 0-1問題
2）二項分布，多項分布 多取值 多次試驗
3）泊松分布 計數過程
4）伽馬分布與指數分布
5） 分布
6）dirichlet分布
7）高斯分布
現在我們將高斯分布和伯努利分布用指數分布家族的形式表示：
高斯分布：
對應到指數分布家族有：
伯努利分布：
對應到指數分布家族有：
在了解指數分布家族之後，我們再來看廣義線性模型的形式定義與假設：
1） 給定樣本x與引數
，樣本分類y服從指數分布家族的某個分布
2）給定乙個x，我們目標函式為
3) 三條假設，第一條是為了能在指數分布範圍內討論y的概率，第二條假設是為了使得**值服從均值為實際值得乙個分布，第三條假設是為了設計的決策函式（模型）是線性的。
由高斯分布的指數家族分布形式與廣義線性模型的定義有線性回歸的模型為：
同樣由伯努利分布的指數家族分布形式與廣義線性模型的定義有logistic回歸的模型為（解釋了為什麼是sigmoid函式）：
所以，在廣義線性模型中，決策函式為線性函式是基於廣義線性模型的第三條假設，而最終的模型是依賴於模型服從什麼樣的分布，比如 高斯分布，伯努利分布。
同樣，我們應用logistic回歸到softmax回歸的一套定義，下面再來看多項分布對應的softmax回歸：
其中 是表示
的概率，
是乙個指示函式，為真是取值為
，否則為
，採用softmax中向量化的定義。
對應到指數分布家族有：
由 推出：
為了方便定義
，由於多項分布所有值取值概率加和為1有：
所以有：
再由廣義線性模型的第二條假設，同時將第三條線性假設
帶入有：
最後由最大似然估計有softmax的目標函式如下：
到此，廣義線性模型解釋線性回歸，logistic回歸，softmax回歸基本算完，可以看出線性函式是基於廣義線性模型的第三條假設，採用sigmoid函式是因為伯努利分布，而softmax回歸是logistic回歸高維推廣。
廣義表的深度和長度（C語言）詳解
廣義表的長度，指的是廣義表中所包含的資料元素的個數。由於廣義表中可以同時儲存原子和子表兩種型別的資料，因此在計算廣義表的長度時規定，廣義表中儲存的每個原子算作乙個資料，同樣每個子表也只算作是乙個資料。例如，在廣義表 中，它包含乙個原子和乙個子表，因此該廣義表的長度為 2。再比如，廣義表 中只有乙個子...
機器學習和深度網路新的收穫
獨熱編碼 one hot code 只有乙個位元為 1其它全為 0的一種碼制，本質是對離散性分類進行資料化。距離0 9 的數字進行獨熱編碼，5的編碼為 0000010000 作用就是來處理非連續型數值特性，例如性別 男 女 其它 可以獨熱成 100,010,001 也可以計算之間的歐氏距離 推薦演算...
機器學習和深度學習的區別是什麼？
現在有很多人對機器學習和深度學習的概念並不是很明白，其實深度學習是機器學習中的一部分，而機器學習是深度學習的基礎，這兩個知識體系都是服務於人工智慧的。在這篇文章中我們給大家介紹一下關於機器學習和深度學習的區別，希望這篇文章能夠幫助大家理解機器學習和深度學習。那麼什麼是機器學習呢？一般來說，為了實現人...