% !mode::"tex:utf-8"
\documentclass
\usepackage
[utf8]
\usepackage
\usepackage
\usepackage
\usepackage
\usepackage
\usepackage
\usepackage
[table]
\usepackage
\usepackage
\usepackage
\pagestyle
\cfoot
}\usepackage
[top=2.54cm, bottom=2.54cm, left=3.18cm,right=3.18cm]
\lstset
\lstset
\lstset
\begin
%\begin
\title
\date
\maketitle
\section
證明information gain $\ge 0$ (用夏農熵):
解：資訊增益表示度量x對**y的能力，表示式如下：
$$gain(x,y)=h(y)-h(y|x)$$
條件資訊熵為：
$$h(y|x)=\sum_p(x_i)h(y|x=x_i);p(x=x_i)=p(x_i)$$
簡單寫成：
$$h(y|x)=\sum_p(x)h(y|x)$$
已知shannon entropy:
$$h(x)=\sum_^p_i\log_2\frac
;p(x=x_i)=p(x_i)$$
簡單寫成：
$$h(x)=\sum_p(x)\log_2\frac
=-\sum_p(x)\log_2p(x)$$
所以資訊增益為：
\begin
\label
\begin
gain(x,y)&=h(y)-h(y|x)\\
&=h(x)-h(x|y)\\
&=h(x)+h(y)-h(x,y)
\end
\end
\section
%\end
\end
% !mode::」tex:utf-8」
\documentclass
\usepackage[utf8]
\usepackage
\usepackage
\usepackage
\usepackage
\usepackage
\usepackage
\usepackage[table]
\usepackage
\usepackage
\usepackage
\pagestyle
\cfoot}
\usepackage[top=2.54cm, bottom=2.54cm, left=3.18cm,right=3.18cm]
\lstset
\lstset
\lstset
\begin
%\begin
\title
\date
\maketitle
\section
證明information gain ≥0
≥
0(用夏農熵):
解：資訊增益表示度量x對**y的能力，表示式如下： ga
in(x
,y)=
h(y)
−h(y
|x) gai
n(x,
y)=h
(y)−
h(y|
x)
條件資訊熵為： h(
y|x)
=∑ip
(xi)
h(y|
x=xi
);p(
x=xi
)=p(
xi) h(y
|x)=
∑ip(
xi)h
(y|x
=xi)
;p(x
=xi)
=p(x
i)
簡單寫成： h(
y|x)
=∑x∈
xp(x
)h(y
|x) h(y
|x)=
∑x∈x
p(x)
h(y|
x)
已知shannon entropy: h(
x)=∑
i=1m
pilog21p
i;p(
x=xi
)=p(
xi) h(x
)=∑i
=1mp
ilog2
1pi;
p(x=
xi)=
p(xi
)簡單寫成： h(
x)=∑
x∈xp
(x)log21
p(x)
=−∑x
∈xp(
x)log2p(
x)h (x
)=∑x
∈xp(
x)
log21
p(x)
=−∑x
∈xp(
x)
log2p
(x
)所以資訊增益為：
\begin\label
\begin
gain(x,y)&=h(y)-h(y|x)\\
&=h(x)-h(x|y)\\
&=h(x)+h(y)-h(x,y)
\end
\end
\begin\label\begin gain(x,y)&=h(y)-h(y|x)\\ &=h(x)-h(x|y)\\ &=h(x)+h(y)-h(x,y)\end\end
\section
%\end
\end
XML初解與乙個包含例項
今天的主要內容是xml。首先我們先來了解一下什麼是xml extensible markup language，翻譯過來為可擴充套件標記語言。xml技術是w3c組織發布的，目前推薦遵循的是w3c組織於2000發布的xml1.0規範。可擴充套件標記語言xml是sgml的子集，其目標是允許普通的sgml...
PHP乙個典型的閉包例項
乙個基本的購物車，包括一些已經新增的商品和每種商品的數量。其中有乙個方法用來計算購物車中所有商品的總 該方法使 用了乙個 closure 作為 函式。class carts public function getquantity product public function gettotal ta...
python 之 類（乙個類包含乙個類）
1.知識點 1 乙個類可以作為另乙個類的元素。2 當乙個類的屬性為列表新增另乙個類名時，會預設新增另乙個類的 str self 的返回值 箱子 class box 屬性 def init self,b color,b volumn self.color b color self.volumn b v...