之前一直摸不著頭腦，現在我心裡有點道道了。
寫在前面的話：我一直以為研究生有時候之所以很難，是因為沒人帶你玩了，要靠你自己去學習。既然是自己探索，基礎就很重要。一句話，沒有基礎，談不上創新。但是很多時候，我們接觸的都是新領域的知識，怎麼才能很快入手呢？我就是特別喜歡找最簡單的最有趣的材料去學，總之越容易越好，我只有乙個目標，就是迅速入門，獲取我解決問題的知識就好了，千萬不能一開始就盡善盡美，否則會特別難過，容易放棄。
從這篇文章中我學到最重要的一點就是原來是這麼做的。因為我之前看的都是很高分的文章，特別難，還是英語的，我理解字面就很困難了。但是我之前去知網搜尋，偏偏匹配不到適合我的。
首先獲取資料，其次資料前處理，隨後計算互資訊，在每乙個處理內部建立網路，之後這兩個處理也就是癌症旁和癌症原發的兩種情況進行網路比對。
萬變不離其宗，隨後玩的花樣看著眼花繚亂，其實都是這樣的。
1 互資訊 資訊熵 條件互資訊 相關
參考於 資訊量可以被看成在學習 x 的值的時候的 驚訝程度 如果有人告訴我們乙個相當不可能的時間發生了,我們收到的資訊要多於我們被告知某個很可能發生的事件發生時收到的資訊。如果我們知道某件事情一定會發生,那麼我們就不會接收到資訊。於是,我們對於資訊內容的度量將依賴於概率分布p x 因此我們想要尋找乙...
點互資訊（PMI）和正點互資訊（PPMI）
如下 在概率論中，如果x和y無關，p x,y p x p y 如果x和y越相關，p x,y 和p x p y 的比就越大。從後兩個條件概率可能更好解釋，在y出現的條件下x出現的概率除以單看x出現的概率，這個值越大表示x和y越相關。log來自於資訊理論的理論，而且 log 1 0 也恰恰表明p x,y...
熵和互資訊
讀文獻想要算通道容量的時候，遇到了需要用到熵和互資訊相關的推導，所以找紀佬要來資訊理論的課件拿來看了看，在這裡也是乙個記錄。先搬上來兩個定義。熵的定義 互資訊量的定義 好的，掌握到這裡基本上就ok了，但是在資訊理論研究中我們還是要經常用一點條件互資訊的東西，那麼可以用這個venn圖來看。圖轉侵刪 這...