概率分布的轉換

前段時間有幸讀到了@老師木的文章1,裡面在**乙個問題，為什麼在神經網路的節點上面使用的是sigmoid函式？其中談到乙個點：

當知道x的概率密度為f(x)時，什麼樣的函式h能把x變換成均勻分布的訊號？也可以是這樣的一道面試題：如何用c的庫函式rand()生成服從高斯分布或者β分布，or其他分布的隨機數？

用大白話說：

變數x服從概率密度是f(x)的分布，概率分布函式是f(x)[^gainian],

根據上面的定理1.1-1，如果x服從任意分布，作為自己的累積分布f(x)的輸入，則變換後值的分布必將服從u(0,1)即0,1之間的均勻分布。相反如定理1.1-2，假設目標分布的密度函式f(x),求取概率分布f(x)，之後求逆f(x)^-1，然後將r[r~u(0,1),即r服從0,1之間的均勻分布]作為逆函式的輸入，變換後值的累積分布將是f(x)函式。

為什麼要說這枯燥的數學知識？我們都有乙個共識，生活處處存在著概率分布，尤其以鍾形曲線的分布為要，其他的分布當然也很多。要想把握事物的內在規律，必須掌握事物的概率分布，之後根據需要對分布進行轉化。在老師木的**的文章中，需要通過轉換放大非長尾資料的作用，進而盡可能使得源資訊在數學模型中得到保留。

而且那個文章中也提到乙個重要的點，資訊熵在均勻分布的時候最大，就對於這種問題，我在找工作的過程中碰到多次，給幾組數讓選擇資訊熵最大的那組，很容易知道，越靠近均勻分布熵的值越大。更進一步考慮，如果用熵來描述乙個系統的混亂程度，那麼當系統的混亂越均勻則熵值越大，模擬戰國七雄時候最為混亂，畢竟各家的實力相當。在蒙古時期，只有忽必烈部落一家獨大，其他部落就是跟著大哥混的，這個時候的混亂程度就低很多，此時熵值就小。

那麼這個混亂程度，用在現代生活中，如**混淆，資訊的加密，密碼加密等，這些都是想辦法怎麼來加大其中的混亂程度，進而來增加系統中的資訊熵。我們從前文已經知道越靠近均勻分布熵的值越大，因此這些領域我們可以看做是乙個概率分布轉換的過程。究竟如何在具體的領域中衡量乙個系統資訊的概率分布並如何構造轉換函式，這些領域中大量的牛人肯定能解決這個問題。

上次在知乎看到乙個題目，關於密碼破譯，不知是不是歐陽大神的回答，貌似很像。提到通過截獲大量的密文，統計其中字元出現的概率分布，然後對照現實中各個字元出現的概率就能夠找到加密字元和真實字元的對應關係。這種情況就屬於資訊熵較小的情況，很容易被破解，所以現在的加密很難通過統計進行解密。這個過程其實也可視作概率分布的轉化。

上面的例子大多是加大系統的熵，然而我們生活中還有很多人的工作是來減小熵，消除不確定性。現在的人工智慧的東西，為什麼說剛開始的時候是「人工智障」，大家經常聽人說是由於缺少資料積累，等到資料積累多了就慢慢的聰明起來了。其中的原理是，在應用剛推出的時候，每種行為策略對於智慧型應用來說是等可能性的，隨著資料的積累，各種策略的分布發生變化，漸漸的形成了優勢策略，所以看起來變得智慧型起來。人們常說推薦系統存在「冷啟動」問題，就是由於新來的使用者沒有資料積累，對於推薦系統來說，不同類別得商品都是等可能的；隨著使用者的資料積累，逐漸形成了清晰的使用者畫像，然後根據使用者畫像進行個性化的推薦，這個時候大家就會感覺到推薦還是挺靠譜得。

還記得上學的時候，大多老師檢查家庭作業喜歡每天只檢查一組學生，有的老師選擇每組按天輪流檢查，這樣沒有輪流到組的學生就不做作業；有的老師是隨機選擇抽查一組，這樣大家怕被抽到時沒有完成而受罰，大多同學就會完成作業。對於第一種老師的選擇來說，檢查作業的分布的不確定性非常的小，結果很多學生沒有做作業，所以老師的目的並沒有達到，而第二種老師的選擇不確定性就很大，所以獲得了較好的效果。這其實也是老師和學生博弈的乙個過程。聰明老師的選擇，在博弈論裡面被稱作「納什均衡」，不錯就是《美麗心靈》的那個nash。大家肯定知道經濟學同學考研也是要考《概率論》地，所以我們今天所說概率分布的轉化不僅僅侷限於工程領域。

當然要很好的發現和應用這些知識還需要很多知識的積累，前路漫漫……

願與諸君共勉！

reference:

1. 為什麼我們喜歡用sigmoid這類s型非線性變換?

2. 所有的概率分布都可以轉化成正態分佈嗎？

3. zhihu:在連續隨機變數中，概率密度函式（pdf）、概率分布函式、累積分布函式（cdf）之間的關係是什麼？

請參閱 參考1

[^tjjs]: 高惠璇教授《統計計算》

[^gainian]:概念不熟悉的可以參閱 參考3 ↩

條件概率分布 聯合概率分布和邊緣概率分布

一.聯合概率分布 小明玩扔飛鏢，飛鏢偏離靶心是不確定的，所以適合用概率模型來描述。先已知飛鏢偏離靶心與標靶距離和風速都有關。假定標靶距離可以是10 20公尺，風速可以是1 10公尺 秒，現統計每個標靶距離 每個風速下，小明所扔飛鏢小於1厘公尺的概率。距離 公尺 風速 公尺 秒 偏離小於1厘公尺的概率...

條件概率分布與邊緣概率分布

1.條件概率分布 這是理解馬爾科夫鏈的重要概念，單獨成文 設x和y分別是概率分布 如正態分佈那種直觀的 那麼 x,y 就是聯合概率分布，又稱為二維隨機變數。這種聯合概率分布就不那麼直觀了。但用條件概率分布這個概念定義，可以把抽象變為形象。具體這樣做，假設x是均勻分布，1 10這個數字出現的可能性都是...

uniform分布 概率分布

概率密度函式表示 表示乙個特定範圍的值的發生概率import numpy as np 正態分佈概率密度函式 均勻分布的概率分布函式是什麼形狀呢?在某這個範圍之外，沒有任何值，在這個範圍之內，則是一條水平直線，因為所有值出現的概率都是相同的 均勻分布圖 指數概率分布函式，其函式值以指數方式下降。指數下...