多分類學習的基本思路是「拆解法」,即將多分類任務拆為若干個二分類任務求解。
最經典的拆分策略有三種：「一對一」(one vs. one，簡稱ovo) 、「一對其餘」 (one vs. rest ，簡稱ovr)和「多對多」 (many vs. many，簡稱mvm)。
一種最常用的mvm 技術「糾錯輸出碼」 (error correcting output codes，簡稱ecoc)。
ecoc 工作過程主要分為兩步：
一般情況下，分類學習方法都有乙個基本假設，即不同類別的訓練樣例數目相當。
類別不平衡(class-imbalance)就是指分類任務中不同類別的訓練樣例數目差別很大的情況。
使用線性回歸模型進行分類處理時，事實上是用閾值對**值進行的劃分（切割）。
閾值設定為0.5即認為正、反樣例數目相同。
類別不平衡學習的乙個基本策略一「再縮放「(rescaling)，亦稱「再平衡「(rebalance)。
常見的三類做法：
「欠取樣」 (undersampling) ，即去除一些反倒使得正、反例數目接近；
「過取樣」 (oversampling) ，即增加一些正例使得正、反例數目接近；
「闊值移動」 (threshold-moving)，直接基於原始訓練集進行學習，但在用訓練好的分類器進行**時，調整閥值。
機器學習之SVM多分類
以下內容參考 王正海 基於決策樹多分類支援向量機岩性波譜分類 svm本身是應用於二分類的，所以在處理多分類並且想應用svm有必要進行改進svm如果直接在目標函式上進行修改的話，就是將多個分類面的引數合併到乙個最優化問題上，顯然難度太大。但是對於lr的話，可以直接拓展為softmax多分類。常見的方法...
機器學習 多分類任務（7）
多分類問題還是以二分類為基礎，即將多分類任務拆解為多個二分類任務。具體來說就是先對問題進行拆分，然後對每個二分類任務訓練乙個分類學習器 測試時對這些分類器的 結果進行彙總，然後得出最終分類結果。流程 將n個類別進行兩兩配對，產生n n 1 2 個二分類任務，然後為每乙個二分類任務訓練乙個分類器。測試...
機器學習之 多類分類問題
在之前的部落格中，我們討論了邏輯回歸模型 logistic regression 解決分類問題。但是我們發現，邏輯回歸模型解決的是二分問題，即 模型的結果只有兩個值，y 0 or y 1 但是在現實情境下，我們的訓練集往往包含多個類 2 我們就無法用乙個二元變數 y 0 y 1 來做判斷依據了。舉個...