整合學習是機器學習中乙個非常重要且熱門的分支，是用多個弱分類器構成乙個強分類器，核心理論就是團結力量大。一般的弱分類器可以由決策樹，神經網路，貝葉斯分類器，k-近鄰等構成。
整合原因：
1、模型選擇 假設各弱分類器間具有一定差異性，這會導致生成的分類決策邊界不同。所以它們多多少少都會有錯誤，於是把它們結合起來降低誤差。
2、資料集過大或過小。
3、若決策邊界過於複雜，則線性模型不能很好地描述真實情況。因此先訓練多個線性分類器，再將它們整合。
4、當有多個不同資料來源，且每個資料來源的特徵集抽取方法都不同時，需要分別訓練分類器然後再整合。
整合學習的演算法：
1、boosting演算法。2、bagging演算法。3、stacking演算法
貝葉斯演算法或者說是貝葉斯分類，貝葉斯分類是一類分類演算法的總稱，這類演算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。而樸素樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。
樸素貝葉斯分類演算法的核心演算法自然是貝葉斯公式：
換個簡單的表示即是：
貝葉斯演算法的最終任務就是求的p(類別|特徵)。把這個p算出來，那麼就可以推導出答案。
例如，假設我們有乙個資料集，它由兩類資料組成，c1與c2。給定某個由(x,y)表示的資料點，根據貝葉斯準則計算p(c1|x,y)與p(c2|x,y)。
若p(c1|x,y) > p(c2|x,y) ,那麼該資料點屬於類別c1。 若p(c1|x,y)
聚類演算法是「無監督學習」中最常用的乙個演算法，通過對無標記訓練樣本的學習將資料集劃分成若干個不相交的子集，來解釋資料的內在性質以及規律，為進一步資料分析提供基礎。也可以作為乙個單獨的過程，尋找資料內在的分布結構。
核心：
聚類演算法的核心是通過距離計算來表徵兩個樣本之間的相似程度。一般而言，距離的度量有幾個原則：
1、非負性：表明距離是非負的，這是符合實際的。
2、同一性：只有一種可能，表示兩個點是重合的。
3、實際問題中，可能距離不具備這個性質，比如轎車導航路線從新校區到老校區的距離，與老校區到新校區的距離可能不等。
4、直遞性：這個也是距離非常重要的乙個性質，是說距離滿足，三角形兩邊之和大於第三邊。
其中一種聚類演算法：
mean shift演算法，
支援向量機(support vector machine,svm)是at&tbell 實驗室的v.vapnik等人提出的一種新型機器學習演算法。支援向量機已應用於網頁或文字自動分類、說話人識別、人臉檢測、性別分類、計算機入侵檢測、基因分類等多個場景。
svm的主要思想是針對兩類分類問題，尋找乙個超平面作為兩類訓練樣本點的分割，以保證最小的分類錯誤率。
svm的基本模型：
設輸入模式集合 ∈ rn 由兩類點組成, 如果x[i]屬於第1類, 則y[i] = 1 , 如果x[i]屬於第2類, 則y[i] = -1 , 那麼有訓練樣本集合 , i = 1 ,2,3 , ⋯, n ,求最優分類面wx-b=0,滿足：y[i](w·x[i] - b) >= 1;並使2h= 2/‖w‖最大，即min‖w‖‖w‖/2;根據對偶理論，可以通過解該問題的對偶問得到最優解，對偶問題為：
max∑α[i] – 1/2 ∑α[i]*α[j]*y[i]*y[j]*x[i]*x[j]
0≤α[i]≤c*∑α[i]*y[i]=0
其中x[i] ·x[j]表示這兩個向量的內積，當對於線性不可分的情況，用核內積k(x[i], x[j])(通過核函式對映到高維空間中對應向量的內積)代替x[i] ·x[j]。根據對偶問題的解α，求得w,b ，得到最優分類面。
svm模型求解：
當訓練樣本向量很多、向量維數很大時，解上面的對偶問題是乙個解大型矩陣的問題，採用傳統的矩陣求逆無論在空間複雜度上還是在時間複雜度上都是不可取的。序貫最小優化(sequential minimal optimization,簡稱smo)演算法是目前解決大量資料下支援向量機訓練問題的一種十分有效的方法。
以上便是機器學習大概的入門知識和演算法，再都涉足了解並有一定的動手能力的時候即可開始正式的機器學習專案實戰，如影象識別、文字識別、語言識別等。
機器學習演算法總覽
本文對機器學習做乙個大體概覽，以便看清該學科分支的知識點分布情況，以供後續學習指明方向與道路。一般的解釋如下 機器學習是通過程式設計讓計算機從資料中進行學習的科學 和藝術 還有兩位前輩對機器學習的定義如下 機器學習是讓計算機具有學習的能力，無需進行明確程式設計。亞瑟 薩繆爾，1959 電腦程式利用經...
機器學習入門
研究生考試結束了，考研通知書也在幾天前到手了，是時候安心下來考慮一下未來研究生的生活和學習了，看現在機器學習特別的火，所以我就先跟風學習一下機器學習吧。由於剛開始學習，所以對一些專有名詞不是很熟悉，所以特別做了一下總結，因為剛剛入門，所以就先整理了這些。人工智慧 一 認知和感知 區別看待 目前是在感...
機器學習入門
1.常用演算法 決策樹 隨機森林演算法 邏輯回歸 svm 樸素貝葉斯 knn演算法 k means演算法 adaboost 演算法 神經網路 馬爾可夫 2.聚類和分類的區別 分類 比如有一堆資料，你已經事先對他們做好了分類。你想要的功能就是，假如來了一條測試資料，我想知道他是哪一類，這就是分類。聚類...