首先定義乙個向量為：x=[-5，6，8, -10]
1-範數：
2-範數：
p-範數：
矩陣的1範數
矩陣的2範數：
矩陣的2範數即：矩陣ata
a^ a
ata的最大特徵值開平方根。
矩陣的無窮範數：
矩陣的每一行上的元素絕對值先求和，再從中取個最大的（行和最大）
l0範數和l1範數
l0範數是指向量中非零元素的個數。如果用l0規則化乙個引數矩陣w，就是希望w中大部分元素是零，實現稀疏。
l1範數是指向量中各個元素的絕對值之和，也叫」係數規則運算元（lasso regularization）「。l1範數也可以實現稀疏，通過將無用特徵對應的引數w置為零實現。
l0和l1都可以實現稀疏化，不過一般選用l1而不用l0，原因包括：1）l0範數很難優化求解（np難）；2）l1是l0的最優凸近似，比l0更容易優化求解。（這一段解釋過於數學化，姑且當做結論記住）
稀疏化的好處是是什麼？
1）特徵選擇
實現特徵的自動選擇，去除無用特徵。稀疏化可以去掉這些無用特徵，將特徵對應的權重置為零。
2）可解釋性（interpretability）
例如判斷某種病的患病率時，最初有1000個特徵，建模後引數經過稀疏化，最終只有5個特徵的引數是非零的，那麼就可以說影響患病率的主要就是這5個特徵。
l2範數
l2範數是指向量各元素的平方和然後開方，用在回歸模型中也稱為嶺回歸（ridge regression）。
l2避免過擬合的原理是：讓l2範數的規則項||w||2 盡可能小，可以使得w每個元素都很小，接近於零，但是與l1不同的是，不會等於0；這樣得到的模型抗干擾能力強，引數很小時，即使樣本資料x發生很大的變化，模型**值y的變化也會很有限。
向量範數 矩陣範數（L0, L1, L2）
在數學上，範數包括向量範數和矩陣範數，向量範數表徵向量空間中向量的大小，矩陣範數表徵矩陣引起變化的大小。範數就是距離，計算距離的方法不同，就產生了l0範數 l1範數等等。在向量範數中 l0範數 向量中非零元素的數量，嚴格意義上講l0範數並不是範數。l1範數 向量各元素絕對值之和，這種方法叫曼哈頓距離...
L0 L1 L2範數的聯絡與區別
這裡簡單地介紹以下幾種向量範數的定義和含義 與閔可夫斯基距離的定義一樣，l p範數不是乙個範數，而是一組範數，其定義如下 根據p 的變化，範數也有著不同的變化，乙個經典的有關p範數的變化圖如下 上圖表示了p從無窮到0變化時，三維空間中到原點的距離 範數 為1的點構成的圖形的變化情況。以常見的l 2範...
向量的L2範數求導
回歸中最為基礎的方法,最小二乘法.begin j frac vec right quad end begin vec x x 1,cdots,x n vec x p left sum m right frac,space p infty end l 2 範數具體為 vec x 2 x 1 2 cdo...