linear discriminant analysis
用途：資料預處理中的降維，分類任務
歷史：ronald a. fisher在2023年提出了線性判別方法
線性判別分析（lda）
目標：lda關心的是能夠最大化類間區分度的座標軸成分
將特徵空間（資料集中的多維樣本）投影到乙個維度更小的 k 維子空間中，
同時保持區分類別的資訊
linear discriminant analysis
原理：投影到維度更低的空間中，使得投影後的點，會形成按類別區分，
一簇一簇的情況，相同類別的點，將會在投影後的空間中更接近方法
線性判別分析（lda）
linear discriminant analysis
監督性：lda是「有監督」的，它計算的是另一類特定的方向
投影：找到更合適分類的空間
線性判別分析（lda）
與pca不同，更關心分類而不是方差
數學原理
原始資料： 變換資料：
目標：找到該投影
線性判別分析（lda）
linear discriminant analysis
lda分類的乙個目標是使得不同類別之間的距離越遠越好，
同一類別之中的距離越近越好
每類樣例的均值：
線性判別分析（lda）
投影後的均值：
投影後的兩類樣本中心點盡量分離：
linear discriminant analysis
只最大化j(w)就可以了？
x1的方向可以最大化j(w)，但是卻分的不好
線性判別分析（lda）
雜湊值：樣本點的密集程度，值越大，越分散，反之，越集中
同類之間應該越密集些：
linear discriminant analysis
目標函式：
雜湊值公式展開：
線性判別分析（lda）
雜湊矩陣（scatter matrices）：
類內散布矩陣 sw = s1+s2：
linear discriminant analysis
目標函式：
分子展開：
線性判別分析（lda）
機器學習 PCA
介紹 pca是一種無監督學習的降維技術 思想1.投影後樣本越分散，保留的資訊越多 2.pca的主要思想是將n維特徵對映到k維上，這k維是全新的正交特徵也被稱為主成分，是在原有n維特徵的基礎上重新構造出來的k維特徵 做法1.將所有的樣本點向直線w投影 2.目標函式 讓投影後樣本的方差極大 第一步 x減...
機器學習演算法的PCA思想
pca顧名思義，就是找出資料裡最主要的方面，用資料裡最主要的方面來代替原始資料。具體的，假如我們的資料集是n維的，共有m個資料 x 1 x 2 x m 我們希望將這m個資料的維度從n維降到n 維，希望這m個n 維的資料集盡可能的代表原始資料集。我們知道資料從n維降到n 維肯定會有損失，但是我們希望損...
白話機器學習演算法（七）LDA
lda也是一種線性變換，其整個證明過程與pca非常相似，找到目標函式，利用特徵值，但是其跟pca的目標是不同的，pca目的是在新座標系中方差最大，lda則是在新座標系中，類內方差盡量小，類間距離盡量大，並以這兩個指標定義乙個目標函式，通過最大化這個目標函式然後得到相應的對映方法，即新座標系 這兩者本...