在演算法的收斂性分析中，需要用到向量和矩陣範數的概念及其有關理論。範數(norm)，是具有「長度」概念的函式。設r
n表示實n維向量空間，rn
×n 表示實n階矩陣全體所組成的線性空間.在這兩個空間中，我們分別定義向量和矩陣的範數.向量x
∈rn的範數∥x
∥是乙個非負數，它必須滿足以下條件:
1.非負性: ∥x
∥≥0,且
∥x∥=
0當且僅當x=
0時成立 。
2.齊次性:∥λ
⋅x∥=
|λ|⋅
∥x∥,
λ∈r3.三角不等式:||
x+y|
|≤||
x||+
||y|
|向量x=
(x1,
⋯,xn
)t的p
-範數定義為 ∥x
∥p=(
∑i=1
n|xi
|p)1
p可以驗證
p-範數確實滿足範數的定義。其中三角不等式的證明不是平凡的，這個結論通常稱為閔可夫斯基(minkowski）不等式。
常用的向量範數有:
1-範數，計算方式為向量所有元素的絕對值之和 ||
x||1
=∑i=
1n|x
i|2-範數，計算方式跟歐式距離的方式一致。 ||
x||2
=(∑i
=1n|
xi|2
)2∞-範數，所有向量元素中的最大值。 ||
x||∞
=maxi|
xi|−
∞-範數，所有向量元素中的最小值。 ||
x||−
∞=mini|x
i|## 矩陣範數矩陣a
∈rn×
n的範數是乙個非負實數，它除了滿足跟向量範數相似的三條性質之外，還必須具備乘法性質：4.∥
ab∥≤
∥a∥∥
b∥,a
,b∈r
n×n如果一矩陣範數∥⋅
∥μ相對於某向量範數∥⋅
∥滿足下面的不等式5.∥
ax∥≤
∥a∥μ
∥x∥,
x∈rn
則稱矩陣範數∥⋅
∥μ和向量範數∥⋅
∥是相容的. 進一步，若存在x≠
0使成立 ∥a
∥μ=m
axx≠
0∥ax
∥∥x∥
=max
∥x∥=
1∥ax
∥,a∈
rn×n
則稱矩陣範數∥⋅
∥μ是由向量範數∥⋅
∥誘導出來的運算元範數，簡稱運算元範數，有時也稱為從屬於向量範數∥⋅
∥的矩陣範數. 此時向量範數和運算元範數通常採用相同的符號∥⋅
∥。不難驗證，從屬於向量範數∥x
∥∞, ∥
x∥1,
∥x∥2
的矩陣範數分別為 ∥a
∥∞=m
ax1≤
i≤n∑
j=1n
|aij
|∥a∥
1=ma
x1≤j
≤n∑i
=1n|
aij|
∥a∥2
=max
它們分別稱作行和範數、列和範數和譜範數.
通常按下述方式定義的f-範數: ||
a||f
=⎛⎝∑
i=1m
∑j=1
n|ai
j|2⎞
⎠12=
tr(a
ta)−
−−−−
−−√定理
(1)設∥⋅
∥和∥⋅
∥′是定義在rn
上的兩個向量範數，則存在兩個正數c1
, c2，對所有x∈
rn均成立 c1
∥x∥≤
∥x∥′
≤c2∥
x∥(2)設∥⋅
∥和∥⋅
∥′是定義在rn
×n上的兩個矩陣範數，則存在兩個正數m1
, m2，對所有a∈
rn×n
均成立 m1
∥a∥≤
∥a∥′
≤m2∥
a∥下面，我們利用範數的概念來等價地定義向量序列和矩陣序列的收斂性.
定理:
(1) 設
為n維向列序列，∥⋅
∥為定義在rn
上的向量範數，則
limk→∞
x(k)
=x⇔limk→
∞∥x(
k)−x
∥=0(2)設為n
×n矩陣序列，∥⋅
∥為定義在rn
×n上的向量範數，則
limk→∞
a(k)
=a⇔limk→
∞∥a(
k)−a
∥=0馬昌鳳. 最優化方法及其matlab程式設計[m]. 科學出版社, 2010. ↩
最優化基礎（四）
定義 設集合d rn.稱集合 d為凸集,是指對任意的x,y d及任意的實數 0,1 都有 x 1 y d.定義 集合d rn的凸包 convex hull 是指所有包含 d 的凸集的交集，記為 co nv d c dc其中 c為凸集 定義 設非空集合c rn.若對任意的x c 和任意的實數 0，有 ...
MATLAB 最優化計算 （二）
matlab 程式設計 1，for start increment end 若預設步長為1，則為 for start end end while condition end 2，matlab 程式 m script m function 字尾均為 m 指令碼檔案中儲存的是可用於自動重複執行的一組命令...
20190602 最優化理論基礎
所謂最優化方法，就是求乙個多元函式在某個給定集合上的極值。min f x s.t.x屬於k k是某個給定的集合 稱為可行集或者是可行域 f x 是定義在集合k上的實值函式，此外，在模型中，x通常稱為決策變數，s.t.是subject to 的縮寫 人們按照可行集的性質對最優化問題，進行乙個大致的分類...