1. 霍夫丁引理
設 $x$ 是均值為 0 的隨機變數，即 $e(x) = 0$，且 $x \in [a,b]$，則對於任意的
$\lambda \in r$ ，可以得到乙個關於區間長度 $b-a$ 的不等式
$$e(e^) \leq exp \left \(b-a)^} \right \}$$
由於隨機變數的期望為 0，所以必定有 $a < 0,b > 0$。
引理證明：
$e^$ 在區間 $[a,b]$ 上是凹函式，由凹函式(函式凹凸性)的定義可得
$$e^ \leq \frace^ + \frace^$$
對不等式兩邊求數學期望有
$$e\left ( e^ \right ) \leq \frace^ + \frace^$$
由於 $e(x) = 0$，則
$$e\left ( e^ \right ) \leq \frace^ - \frace^$$
考察上式不等式右側，代入期望後，右側的表示式只含有未知變數 $\lambda$，結合 $a < 0,b > 0$，有
$$\frace^ - \frace^ > 0$$
$$\frace^ - \frace^ = e^(\frac - \frace^) = exp\left \ - \frace^)\right \}$$
將最複雜的部分進行換元，令 $h=\lambda (b-a),p=\frac$，於是有
$$exp\left \ - \frace^)\right \} = exp\left \ ) \right \}$$
考察函式
$$l\left ( h \right ) = -hp + ln( 1-p+pe^)$$
利用泰勒公式將其在 $x = 0$ 處展開，得
$$l(h) = l(0) + l^(0)h + \frac(\xi)}h^$$
其中 $\xi$ 處於 0 和 $h$ 之間。對 $l(h)$ 求導得
$$l^(h) = -p + \frac}}$$
$$l^(h) = \frac(1-p + pe^) - p^e^})^} = \frac}}(1-\frac}}) = t(1-t) \leq \frac$$
由於 $l(0) = 0$，$l^(0) = 0$，所以
$$l(h) \leq \frach^ = \frac(b-a)^}$$
所以，最終可以得到
$$e(e^) \leq exp \left \(b-a)^} \right \}$$
證畢2. 霍夫丁不等式
設 $s_ = \sum_^x_$ 是獨立隨機變數 $x_,x_,...,x_$ 之和，$x_ \in [a_,b_]$，則對任意的 $t > 0$，以下不等式成立
$$p\left \ -es_ \geq t\right \} = p\left \ - s_ \geq t\right \} \leq exp \left \}^(b_-a_)^} \right \}$$
證明：額外引入變數 $s>0$，則
$$p\left \ -es_ \geq t\right \} = p\left \ -es_) \geq st\right \} = p\left \ -es_)} \geq e^\right \}$$
由馬爾可夫不等式(參考部落格)得
$$p\left \ -es_)} \geq e^\right \} \leq \frac -es_)}]}} = \frac^x_ - \sum_^e(x_))}]}} = \frac^[x_ - e(x_)]}]}} = \frac^e[e^ - e(x_)]}]}}$$
令隨機變數 $y_ = x_ - e(x_)$，則 $e(y_) = 0$，我們無法知道 $y_$ 所在的區間，但是它所在區間的長度為 $b_-a_$，由霍夫丁引理可得
$$e^\prod_^e[e^ - e(x_)]}] \leq e^\prod_^e^(b_-a_)^}} = exp\left \^\fracs^(b_-a_)^ \right \}$$
考察函式
$$g\left ( s \right ) = -st + \sum_^\fracs^(b_-a_)^,s>0$$
求導數有
$$g^(s) = -t + \sum_^\fracs(b_ - a_)^$$
令 $g^(s) = 0$ 得
$$s^ = \frac^(b_-a_)^}$$
$$g(s^) = \frac}^(b_-a_)^}$$
因為 $\forall s > 0$，都有不等式成立，因此取右邊關於 $s$ 的二次函式的最小值，有
$$p\left \ -es_ \geq t\right \} \leq exp \left \}^(b_-a_)^} \right \}$$
證畢由一般式得到特殊形式：$x_ \in [0,1]$，則 $\frac} \in [0,\frac]$，對 $\frac}$ 使用霍夫丁不等式有
$$p\left \^\frac} -e(\sum_^\frac}) \geq t\right \} = p\left \ - e(\overline) \geq t\right \} \leq exp \left \}^(\frac-0)^} \right \} = exp\left \ \right \},t > 0$$
注意：隨機變數 $x_,x_,...,x_$ 並沒有說明來自同乙個總體，也不一定同分布，所以只能寫成 $e(\overline)$。
機器學習 霍夫丁（Hoeffding）不等式證明
對於任意非負隨機變數 x forall epsilon 0 有 displaystyle p x ge epsilon le frac 切比雪夫不等式是它的特例。begin e x int xf x dx ge int xf x dx ge int epsilon f x dx epsilon p ...
機器學習 2 霍夫丁不等式
機器學習 2 霍夫丁不等式 這一章是為了說明機器學習的可行性的。為了解決乙個問題，即我們找到了乙個符合要求的函式f，這個函式在測試資料中準確率為90 那麼是否有該函式f在整體中的正確率也有90 或者說和90 相差不大。我上面說的話很重要，下面就是為了解決上面的問題，一般文章都是那從罐子裡取出小球做模...
馬爾可夫 Markov 不等式
馬爾可夫不等式把概率關聯到數學期望，給出了隨機變數的分布函式乙個寬泛但仍有用的界。令 x 為非負隨機變數，且假設 e x 存在，則對任意的 a 0 有 p left leq frac 馬爾可夫不等式是用來估計尾部事件的概率上界，乙個直觀的例子是 如果 x 是工資，那麼 e x 就是平均工資，假設 a...