機器學習筆記（一）

機器學習問題

監督學習

回歸問題：線性回歸演算法

分類問題：邏輯回歸演算法

無監督學習

聚類演算法

目標函式or代價函式

方差

交叉熵

求解目標函式（最小代價函式）的方法

過擬合和欠擬合

欠擬合:不能很好地適應訓練集的擬合。

過擬合:完美的適應訓練集的擬合。

無論是過擬合還是欠擬合都是不合適的。欠擬合既不能適應訓練集，**效果也不好；過擬合雖然很好地適應了訓練集，但**效果可能不好。

解決方法：

欠擬合：增加特徵維度。

過擬合：減少特徵維度或正則化。

正則化基於方差的代價函式。

多分類問題

在二分類問題中，我們計算的實際上是y=1的概率。而在多分類問題中，y不再只有0,1兩個取值，但是演算法思想還是一樣的。首先隨機選擇其中乙個類別，再把其他所有類看成另乙個類，之後再對剩下的類進行相同的操作，這樣就把乙個多分了問題轉化為一系列的兩份類問題，然後對這些二分類問題求解，得到乙個各類別概率的陣列，概率最大的類別記為**結果。

吳恩達機器學習系列課程：

機器學習筆記（一） 了解機器學習

1 人工智慧是我們想要達成的目標，機器學習是想要達成目標的手段，深度學習就是機器學習的其中乙個方法。2 機器學習，根據你提供的資料尋找乙個function，如下圖，輸入一段語音知道是 how are you 輸入貓的知道是 貓 怎樣找出這個function呢？第一，要有一系列的function，即模...

機器學習筆記（一）

機器學習筆記 1,2課 一.線性回歸模型 1.數學模型 對於乙個具體的問題，x1,x2 是我們所選取的特徵，h x 是我們所建立的模型，其中有n 1個引數。我們希望所建立的數學模型可以很好的刻畫實際問題，而我們所擁有的就是訓練資料集。很自然的，我們希望數學模型可以較好的表述訓練資料集的情況。雖然對訓...

機器學習筆記（一）

統計學習三要素 模型 策略和演算法。模型分類有幾種，監督非監督，引數非引數等。監督學習又分為生成方法和判別方法。生成模型有 樸素貝葉斯和隱馬爾科夫。判別模型有 k近鄰，感知機，決策樹，邏輯回歸，em，svm，boost,crf.引數模型 引數個數固定，與訓練資料無關。非引數模型 引數個數依賴於訓練資...