機器學習中的概率問題

機器學習中的概率問題

機器學習的過程可以理解為計算機通過分析大量的資料獲得模型，並通過獲得的模型進行**的過程。機器學習的模型可以有多種表示，例如線性回歸模型，svm模型，決策樹模型，貝葉斯模型。

概率型別

在理解概率模型之前，首先要理解的各種概率型別所表示的確切含義。

1.先驗概率

某事件發生的概率。

2.條件概率

在某種條件下，事件a發生的概率，可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如p(x),p(y)。

3.後驗概率

條件概率的一種特殊情況，它限定了事件為隱變數取值(不可觀測)，而條件為觀測結果。

4.聯合概率

表示多個事件同時發生的概率。

5.似然概率

條件概率的一種，針對引數而言，意思是某引數(某事件發生的概率)取得某一值得概率。

正向過程（普通概率）：給定引數後，**即將發生的事件的可能性，以投擲硬幣為例，已知一枚均勻硬幣，投擲出正反面的概率均為0.5(給出的引數)，求投擲兩次硬幣都朝上的概率。

逆向過程（似然概率）：給定事件發生的可能性，求解引數為某一值得可能性，以投擲硬幣為例，已知一枚均勻硬幣，投擲兩次都是正面朝上(條件)，求正面朝上的概率為0.5的可能性是多少。

求正面朝上概率為x的似然：

通過計算不同的正面朝上的概率的可能性，可以得到一條似然函式曲線：

似然函式曲線

最大似然概率，最大似然概率，在已知觀測資料的條件下，找到使似然概率最大的引數值作為真實的引數估計。例如從似然函式曲線中可以得知，當ph=1時，似然函式取得最大值。

在這裡我們假設已有的資料為x，可能出現的結果為y，每乙個可能的結果y都對應乙個給出資料x下的條件概率。

機器學習最終得到的結果是實現該條件的概率的最大化。

決策函式和條件概率

條件概率分布模型可表示成決策函式

決策函式中隱含著條件概率

所以依據決策函式得到的結果滿足極大似然概率，同時滿足最大條件概率。

實現上述過程，基於是否對p(x|y)直接操作來區分有兩種策略：

判別式模型：由資料直接對p(x|y)或決策函式f(x)進行建模，例如線性回歸模型，svm，決策樹等，這些模型都預先制定了模型的格式，所需要的就是通過最優化的方法學到最優引數θ即可。

生成式模型:這種策略並不直接對p(y|x)進行建模，而是先對聯合概率分布p(x,y)進行建模，然後依據貝葉斯公式p(y|x)=p(x,y)p(x)間接的得到我們所期望的模型p(y|x)，這種策略最常見的演算法就是我們接下來要介紹的貝葉斯分類器演算法

機器學習筆記 概率

概率的理解 概率的一種理解是頻數的解釋，比如投硬幣，當投的次數無限多時，我們大概知道下次投出 head 的概率。另外一種解釋就是貝葉斯觀點，就是衡量事情的不確定性。貝葉斯觀點的好處在於，其不是基於重複事件的。而是基於先前的資訊，來 下乙個事件發生的概率。概率的基本性質在此略去，下面看看幾種典型的概率...

概率統計在機器學習中的作用

在進行機器學習的時候，我們會接觸到很多的數學知識，而這些數學知識有很多，比如說線性代數和概率統計。如果線性代數可以看成是數量還有結構的組合的話，那麼概率統計就可以看成是模型還有資料的組合。那麼大家是否知道概率統計在機器學習中的作用是什麼呢？下面我們就給大家解答一下這個問題。其實在機器學習中，模型和資...

機器學習中的問題

20 1定義神經網路的輸入 引數和輸出，定義前向傳播過程 21 x tf.placeholder tf.float32,shape none,2 22 y tf.placeholder tf.float32,shape none,1 23 w1 tf.variable tf.random norma...