線性運算元 的譜半徑定義為
譜半徑在演算法的收斂性證明中起到舉足輕重的作用。我們先看乙個簡單的事實。
運算元作用在特徵向量上就是乙個拉伸，這裡是廣義的拉伸，因為特徵值有可能是複數。那麼反覆作用會怎麼樣呢？
假設 是矩陣 的乙個特徵值， 是對應的特徵向量。那麼 ，兩邊同時取模，如果, 那麼 as . 反過來，如果 , 那麼 as . 我們可以證明如下的結論。
這裡要說明一下，目前只是定義了運算元空間的線性結構，還沒有定義拓撲，那麼極限是在什麼意義下取並沒有講清楚。
對於 的矩陣，乙個自然的拓撲是把它看做成是 的乙個元素，即把矩陣看成是乙個長的向量(按列或是按行排起來)。這個拓撲當然不是太好，因為把2維的矩陣看做是1維的向量，很多資訊丟失掉了。更好的拓撲結構將會通過範數引入。
範數是乙個取值非負的對映 滿足下面這些性質:
乙個線性空間如果能定義範數，就稱之為賦範線性空間。有了範數這個結構，我們才能談向量的長度和兩個元素之間的距離。注意，現在只有長度，還不能談兩個向量之間的角度。
範數自然就誘導了線性空間的乙個拓撲：開集由所有的開球組成。有了拓撲，我們才能談收斂。
和範數相關但不同的乙個概念是度量。度量或是更熟悉的名字叫距離 是滿足如下性質的函式:
對於賦範線性空間，有個自然的度量 .
但是度量可以定義在沒有線性結構的空間上。對於線性空間而言，範數能誘導度量，但度量不一定能用來定義範數。乙個拓撲線性空間是可以定義範數的當且僅當它是區域性有界和區域性凸的，而它是可度量化的只需要區域性有界。缺少的性質是 scaling invariance 。
這裡稍微偏了一下題，想傳遞的資訊是，同乙個空間，可以有不同的結構，而不同的結構帶來不同的性質。
乙個空間可以定義很多種不同的範數。對有限維線性空間而言，所有範數都是等價的，即對任意兩個範數 存在常數 使得
證明也很簡單。根本的原因是有限維拓撲空間對緊緻集的刻畫：
在有限維空間中：乙個集合是緊的 它是有界閉集。
這個對緊集的刻畫是有限維和無窮維空間最本質的區別。
但要講清楚這個等價性，需要定義清楚集合的緊性。這裡簡單理解成序列緊：有界序列存在收斂子串行。嚴格的證明就是大一的閉區間套定理。乙個有無窮多元素的序列分布在閉的區間裡。把區間二分下去，以有限盛無限，哪怕區間越來越小都能找到原始序列中的元素。區間要是閉的，如果是開的，取極限就有可能跑出去了。
在無窮維空間裡，維數變成無窮了，以無窮對無窮，那麼就有餘地構造非緊的有界閉集。乙個最簡單的例子是 , 就是在第 個位置為 , 其它為 的無窮維向量。 就沒有收斂子串行。研究無窮維空間運算元的理論叫做泛函分析。以後再開一貼：計算數學中的泛函分析簡介。
向量空間 最常用的是 範數
在所有的 中，最有用的是 . 驗證範數的等價性，可以畫相互巢狀的圓，正方形和菱形。
雖然這些範數都是等價的，但等價的常數和空間的維數 相關。當 很大的時候，等價性也沒有多大意義。
線性空間 上的乙個範數會誘導線性運算元空間上的乙個範數：對
對有限維空間， 可以替換為 ，因為在有限維空間裡，有界的閉單位球是緊的， 可以取到。
但也存在矩陣範數，不能由空間的某個範數誘導，比如矩陣的 frobenius 範數
前面提到過，這個是把矩陣當成乙個長向量，丟掉了矩陣的2維性質。frobenius 範數不是乙個誘導的範數，因為對單位矩陣而言, for . 如果是誘導範數，按定義，單位矩陣的任意誘導範數都是 , 因為它表示恒同對映。
向量空間 最常用的 and 範數，誘導的矩陣範數是
證明 比較簡單，要驗證 需要構造特殊的向量。
譜半徑的定義裡只用到線性結構，和範數無關。那麼矩陣的譜半徑和範數有什麼關係呢？
下面我們列出常見的關係，有些證明要留待後面引入內積結構再討論。
對任意的誘導範數 (證明是讓運算元作用在特徵向量上)。
對任意的誘導範數
給定，對任意的 , 存在乙個誘導範數 使得 (注意這個範數依賴於 和 ) 這個結論也可以簡單記為
當 , , , 那麼 (這裡 是矩陣 在該範數下的條件數)。
當 , i.e. is normal , 那麼 . (這裡 是酉矩陣，所以 .)
作為normal 矩陣的特例，所有hermitian矩陣和對稱矩陣都有 .
我們強調一下，不等式 不能推出 . 對於非常 non-normal 的矩陣, 譜半徑和範數兩者可以差很遠。比如說旋轉矩陣
, with
. 譜半徑是
, 但是
as , where
. 所以
，當 時,
這個估計沒有什麼用。
這也是 gmres 迭代法收斂性很難講清楚的原因。
下面是課堂筆記
不同範數下的餘弦定理 人工智慧基礎 範數的物理意義
什麼是範數？我們知道距離的定義是乙個寬泛的概念，只要滿足非負 自反 三角不等式就可以稱之為距離。範數是一種強化了的距離概念，它在定義上比距離多了一條數乘的運算法則。有時候為了便於理解，我們可以把範數當作距離來理解。在數學上，範數包括向量範數和矩陣範數，向量範數表徵向量空間中向量的大小，矩陣範數表徵矩...
餘弦定理和新聞的分類
餘弦定理和新聞的分類似乎是兩件八桿子打不著的事，但是它們確有緊密的聯絡。具體說，新聞的分類很大程度上依靠餘弦定理。google 的新聞是自動分類和整理的。所謂新聞的分類無非是要把相似的新聞放到一類中。計算機其實讀不懂新聞，它只能快速計算。這就要求我們設計乙個演算法來算出任意兩篇新聞的相似性。為了做到...
餘弦定理和新聞的分類
餘弦定理和新聞的分類似乎是兩件八桿子打不著的事，但是它們確有緊密的聯絡。具體說，新聞的分類很大程度上依靠餘弦定理。google 的新聞是自動分類和整理的。所謂新聞的分類無非是要把相似的新聞放到一類中。計算機其實讀不懂新聞，它只能快速計算。這就要求我們設計乙個演算法來算出任意兩篇新聞的相似性。為了做到...