最近在做的研究生課題接觸到了低秩矩陣恢復的理論與方法，在學習過程中有很多基礎知識的欠缺，希望通過寫部落格的過程記錄一些學習筆記。注：本部落格中的理論主要參考自文獻[^1] ，非原創內容。
對於以向量x0 ∈rn 表示的訊號，其稀疏性即指向量x0中非零元素的個數。數學表示即l0範數（零範數），||x0||：=||。
經典的nyquist-shannon取樣定理表明，如果要求無失真的重構出原始訊號，至少要以訊號最高頻寬兩倍頻率的速率對訊號進行取樣，即fs > 2fmax 。
壓縮感測理論是利用取樣訊號的稀疏性以降低取樣率，但要保證能夠根據觀測到的資料準確重構出原始訊號。
以上述訊號x0為例，我們希望通過測量較少的觀測量y∈rm （m<0，這便是壓縮感知的含義。數學模型可表示為
m in
x∣∣x
∣∣0s
.t.y
=a
x\beginmin \\x \end ||x||_0 \\ s.t.\quad y = ax
minx∣
∣x∣∣
0s.
t.y=
ax上述模型的求解是乙個np難問題，採用工程上優化方法求解，轉而求解如下凸優化問題
m in
x∣∣x
∣∣1s
.t.y
=a
x\begin min \\ x \end||x||_1\\ s.t.\quad y=ax
minx∣
∣x∣∣
1s.
t.y=
ax其中，∣∣x
∣∣
1||x||_1
∣∣x∣∣1
是向量x的l
1l_1
l1範數。
矩陣低秩理論與壓縮感測理論關係緊密，可以理解為向量的稀疏性擴充套件到矩陣中，就是矩陣的秩。仿照壓縮感測問題，可以得到矩陣秩最小化問題的數學模型
m in
xran
k(x)
s.t.
a(x)
=b
\beginmin\\x\end rank(x)\\s.t.\quad a(x)=b
minxr
ank(
x)s.
t.a(
x)=b
上面的數學模型的目標函式是矩陣x的秩，即奇異值構成矩陣的稀疏性（原文是奇異值構成向量的稀疏性，可能是筆誤，或者我理解有誤）。同樣，該問題的求解也是乙個np難問題，可轉為求解如下凸優化問題
m in
x∣∣x
∣∣∗s
.t.a
(x)=
b\begin min \\ x \end ||x||_* \\ s.t.\quad a(x)=b
minx∣
∣x∣∣
∗s.
t.a(
x)=b
其中，∣∣x
∣∣
∗||x||_*
∣∣x∣∣∗
網路壓縮 1 低秩分解
網路壓縮 network compression 1 低秩近似 低秩分解 low rank expansion 上圖展示了低秩分解的基本思想 將原來大的權重矩陣分解成多個小的矩陣，右邊的小矩陣的計算量都比原來大矩陣的計算量要小，這是低秩分解的基本出發點。奇異值分解svd cp分解 tucker分解 ...
linux學習筆記（五）壓縮與解壓縮
壓縮解壓縮檔案 病毒難以感染壓縮檔案 常見壓縮格式 gz gzip，只能壓縮檔案 壓縮命令不保留原檔案，壓縮比小 gzip壓縮 gunzip gzip d 解壓縮 tar 對目錄打包，同時進行壓縮，原目錄儲存 c 打包 v顯示詳細資訊 打包的目錄 f指定檔名 z打包同時壓縮.gz j打包同時壓縮.b...
Linux學習筆記（2壓縮與打包）
常用副檔名和對應程式 zcompress程式壓縮的檔案 被gzip取代 gz gzip程式壓縮的檔案 bz2 bzip2程式壓縮的檔案 壓縮比大於gzip tar tar程式打包的資料，沒有被壓縮過 tar.gz tar程式打包的資料，被gzip壓縮過 tar.bz2 tar程式打包的資料，被bzi...