什麼是範數?
範數(norm)是具有度量性質的函式,它經常使用來衡量向量函式的長度或大小,是泛函分析中的乙個基本概念。
要更好的理解範數,就要從函式、幾何與矩陣的角度去理解,我們都知道,函式與幾何圖形往往是有對應的關係,這個很好想象,特別是在三維以下的空間內,函式是幾何影象的數學概括,而幾何影象是函式的高度形象化,比如乙個函式對應幾何空間上若干點組成的圖形。
但當函式與幾何超出三維空間時,就難以獲得較好的想象,於是就有了對映的概念,對映表達的就是乙個集合通過某種關係轉為另外乙個集合。通常數學書是先說對映,然後再討論函式,這是因為函式是對映的乙個特例。
為了更好的在數學上表達這種對映關係,(這裡特指線性關係)於是就引進了矩陣。這裡的矩陣就是表徵上述空間對映的線性關係。而通過向量來表示上述對映中所說的這個集合,而我們通常所說的基,就是這個集合的最一般關係。於是,我們可以這樣理解,乙個集合(向量),通過一種對映關係(矩陣),得到另外乙個幾何(另外乙個向量)。
那麼向量的範數,就是表示這個原有集合的大小。
而矩陣的範數,就是表示這個變化過程的大小的乙個度量。
l0範數:向量中非零元素的個數
l1範數:為絕對值之和(由於l1範數的天然性質,對l1優化的解是乙個稀疏解,因此l1範數也被叫做稀疏規則運算元,實現特徵的稀疏,去掉一些沒有資訊的特徵,例如在對使用者的電影愛好做分類的時候,使用者有100個特徵,可能只有十幾個特徵是對分類有用的,大部分特徵如身高體重等可能都是無用的,利用l1範數就可以過濾掉。)
l2 範數:就是通常意義上的模;l2範數通常會被用來做優化目標函式的正則化項,防止模型為了迎合訓練集而過於複雜造成過擬合的情況,從而提高模型的泛化能力。
無窮範數:就是取向量的最大值。
f範數
f範數是矩陣中每乙個位置的元素的平方和再開方,它的作用是衡量乙個矩陣的大小,即衡量這個矩陣和零矩陣的距離,就像二維平面上的乙個點,和原點的距離就是它的f範數。
總的來說,範數的本質是距離,存在的意義是為了實現比較。比如,在一維實數集合中,我們隨便取兩個點4和9,我們知道9比4大,但是到了二維實數空間中,取兩個點(1,1)和(0,3),這個時候我們就沒辦法比較它們之間的大小,因為它們不是可以比較的實數,於是我們引入範數這個概念,把我們的(4,0)和(0,3)通過範數分別對映到實數4 和 3 ,這樣我們就比較這兩個點了。所以你可以看到,範數它其實是乙個函式,它把不能比較的向量轉換成可以比較的實數。
在上面的例子裡,我們用的範數是平方求和然後再開方,範數還有很多其他的型別,這個就要看具體的定義了,理論上我們也可以把範數定義為只比較x軸上數字的絕對值。
BIOS自檢響鈴及其意義
bios自檢響鈴及其意義 award 的bios自檢響鈴及其意義 1短 系統正常啟動。這是我們每天都能聽到的,也表明機器沒有任何問題。2短 常規錯誤,請進入cmos setup,重新設定不正確的選項。1長1短 ram或主機板出錯。換一條記憶體試試,若還是不行,只好更換主機板。1長2短 顯示器或顯示卡...
向量點積及其意義
編輯 設二維空間內有兩個向量 和 定義它們的數量積 又叫內積 點積 為以下實數 更一般地,n維向量的內積定義如下 設二維空間內有兩個向量 和 它們的夾角為 則內積定義為以下實數 該定義只對二維和三維空間有效。點乘的幾何意義和用處就是計算兩個向量之間的夾角,以及在某一方向上的投影。在生產生活中,點積同...
undef 的用法及其意義
cpp view plain copy include using namespace std intmain 編譯器會對 cout modi 1 endl 這行語句報錯。原因就是 undef起的作用 當用完乙個巨集,比如modi,不希望下面的 再用到這個modi,那麼就可以 undef它,那麼下面...