機器學習理論 概率論與數理統計 獨立和不相關

2022-04-10 10:38:59 字數 971 閱讀 3637

獨立和互斥的區別在此省略,比較好理解。

首先我們看協方差的定義:

cov(x, y) = e.

協方差的性質有:

cov(x, y) = cov(y, x)

cov(ax+b, cy+d) = accov(x, y)

cov(x1+x2, y) = cov(x1, y) + cov(x2, y)

cov(x, y) = e(xy) - e(x)e(y)

若兩變數x和y相互獨立,e(xy) = e(x)e(y),而cov(x, y) = e(xy) - e(x)e(y), 從而,當x和y獨立時,cov(x, y) = 0;反之不成立,若e(xy) = e(x)e(y),即cov(x, y) = 0, 只能說明x和y不相關,而不能說他們獨立。(注:我們說的相不相關指的是是否線性相關)

如何理解呢?舉乙個例子

畫乙個二維直角座標軸,(x,y)均勻分布在單位圓x2+y2=1上。

①那麼此時x和y不是線性相關的,即相關係數為0.

文字解釋:按線性回歸來講,直線的截距是可負可正可0的,只有對應的x和y都滿足直線方程才能說是x和y是線性相關,但顯然,只有過原點才滿足,其餘情況滿足不了,故x和y是不相關的。

數學解釋: e(x|y) = e(y|x) = 0,所以e(x) = e(y) = 0,而且e(xy) = e(y)e(x|y) = e(x)e(y|x) = 0, 所以 cov(x, y) = e(xy) - e(x)e(y) = 0

②但兩個變數並不是獨立的,因為x的取值對於y的取值是有影響的。

概率論與數理統計

概率論與數理統計是研究和揭示隨機現象統計規律性的一門數學學科。1,有一類現象,在一定條件下必然發生,這類現象稱為確定性現象。例如,石子必然下落,同性電荷必然相互排斥。2,在試驗或觀察之前不能預知確切的結果,但是在大量重複試驗或觀察下,結果卻呈現出某種規律性。這種在大量重複試驗或觀察中所呈現出的固有規...

概率論與數理統計 2

看乙個例子 盒子中有5個球,其中3個紅球,隨機取2個,注意問的問題?取到1個紅球的概率至少取到乙個紅球的概率無法取到紅球的概率取到2個紅球的概率取到紅球的個數 1 4的概率都是乙個數值,而取到紅球的個數則可能是0,1,2,但這些結果是隨機的,那麼稱取到紅球的個數為乙個隨機變數,並且求出各個取值的概率...

概率論與數理統計 3

扔硬幣不是正就是反 扔骰子的點數是1,2,3,4,5,6 打靶要麼中標要麼不中 這些結果數值都是明確可以取值的.稱為離散型隨機變數 圓的角度 0 360,可以有小數點 某人上班8點到9點之間到,這個結果集無法列舉 乙個燈泡的使用壽命 這些數值都無法列舉,但可在其範圍內取任一實數就稱為連續型隨機變數 ...