數學之美
最近在讀《數學之美》這本書，做一下個人筆記。看的是pdf，看完後會買一本的哦！版權意識還是有的。
1 資訊熵
從乙個角度可以認為資訊量就等於不確定性的多少。
資訊熵（entropy）,一般用符號h表示，單位是位元。
熵的定義:
變數的不確定性越大，熵也就越大。
文中有個關於冗餘度
的：重複的內容很多，資訊量就小，冗餘度就大。
2 資訊的作用
乙個事物內部會存有隨機性，也就是不確定性：u。引入資訊 i 消除不確定性,而資訊量取決於u的大小。當 i < u 時，可以消除一部分不確定性，也就是說新的不確定性：u' = u - i 。
⭐條件熵
假設x和y是兩個隨機變數，已知x的隨機分布p(x),那麼也就知道了x的熵。現在還知道y和x的聯合概率密度，以及在y取不同值的前提下x的概率分布，即條件概率分布。定義在y的條件下的條件熵為：
h(x) >= h(x丨y)，也就是說多了y的資訊之後，關於x的不確定性下降了。在統計語言模型中，如果把y看成是前乙個字，那麼在數學上就證明了二元模型的不確定性小於一元模型。同理，三元模型比二元好。（用條件熵解釋了模型複雜度）
⭐資訊的作用在於消除不確定性，nlp的大量問題就是尋找相關的資訊。
3 互資訊
互資訊（mutual information）:作為兩個隨機事件「相關性」的量化度量。
假定有兩個隨機事件x 和 y ，它們的互資訊定義如下：
4 延伸閱讀：相對熵（交叉熵）
相對熵用來衡量兩個取值為正數的函式的相似性，定義：
三個結論：
①對於兩個完全相同的函式，它們的相對熵是零。
②相對熵越大，兩個函式差異越大；反之，則相反。
③對於概率分布或者概率密度函式，如果取值均大於零，相對熵可以度量兩個隨機分布的差異性。
⭐相對熵是不對稱的：
為了計算方便：將上面的不等式兩邊取平均，即
第六章筆記
頂層const與底層const的區別 頂層const是指標物件本身是乙個常量，而底層const是指標所指的物件是乙個常量，理解起來就相當於前者是直接，後者是間接。宣告函式可以多次，但是每個形參只能用實參預設初始化一次，即後續宣告只可以為未預設初始化的形參新增預設實參，而且其形參右側的所有形參必須都有...
《數學之美》 第六章 資訊的度量和作用
總結 資訊的作用在於消除不確定性 補充相對熵是用來衡量兩個取值為正數的函式的相似性，關於相對熵的3點結論 1.對於兩個完全相同的函式，它們的相對熵等於0 2.相對熵越大，兩個函式差異越大 反之相對熵越小，兩個函式差異越小 3.對於概率分布或者概率密度函式，如果取值均大於0，相對熵可以度量兩個隨機分布...
mysql第六章 第六章 mysql日誌
第六章 mysql日誌 一 錯誤日誌 錯誤日誌的預設存放路徑是 mysql 存放資料的地方 hostname.err 1.修改錯誤日誌存放路徑 mysqld log error data mysql mysql.log 2.檢視配置命令 show variables like log error 3...