(建議建議閱讀原文)預備知識傅利葉變換
我們知道傅利葉級數 可以從向量空間的角度理解, 而傅利葉變換可以看作傅利葉級數區間取無窮大時的極限, 所以我們以下使用一種 「幼稚」 的觀點, 從向量空間的角度來理解傅利葉變換.
模擬傅利葉級數, 我們仍然可以將傅利葉變換看作是向量空間中兩組正交歸一基底之間的變換, 我們分別把他們叫做
表象下, 若用
基底就說在
表象下. 每個實數
對應乙個基底
, 所有的
構成 基底. 每個實數
對應乙個基底
, 所有的
構成 基底. 就像有限維空間中用
表示一組基底的第
個關於這組基底的座標, 可以用
表示 關於所有
基底的座標, 用
表示 關於所有
基底的座標.
現在, 函式
可以看作是某個向量
關於 基底的座標(有限維空間中的求和在無窮維空間中變為積分), 而
可以看作是
基底的座標1.
向量空間中兩個向量的內積, 在
表象下為
表象同理.
將某向量
投影到基底
上, 可以驗證其係數為
表象下, 可以驗證
基底的正交歸一化
表象同理.
基底變換
將傅利葉變換對應的算符記為
, 反變換記為
. 傅利葉變換可以看成乙個無窮維且連續的
酉矩陣, 將同乙個向量從
表象座標變換到
表象座標. 反變換從
表象變回
表象. 傅利葉變換和反變換並不改變向量
本身,
是乙個單位算符, 即
. 令
基底在
表象下的函式(即座標)為
, 即
則基底變換矩陣的 「矩陣元」 為
我們將矩陣元記為
, 也叫做
核(kernel). 兩個變數就相當於矩陣的兩個角標.
該矩陣乘以
表象的座標, 就是
表象的座標, 矩陣的求和同樣需要寫成積分的形式
這就是反傅利葉變換.
由於酉矩陣的厄公尺共軛就是它的逆矩陣, 所以逆矩陣的矩陣元為
核為 . 該矩陣乘以
表象的座標, 就是
表象的座標
這就是傅利葉變換.
表象下,
基底的正交歸一化可以記為
基底在
表象下的正交歸一也同理. 之所以說這時一種 「幼稚」 的做法, 是因為式 10 的積分(從
到 )並不收斂,
函式也不是乙個嚴格意義上的函式.
我們就可以用以下過程在
表象下簡潔地 「證明」
依次經過傅利葉變換和反變換後, 仍然可以得到
. 證明的向量形式為
將各個向量替換為
表象的座標, 得
1. 從該式可以看出表象這個詞的由來, 同乙個向量, 使用不同基底後, 其座標(即函式)
和 表面上看起來不同.
歸一化輸入向量
1 加快梯度下降求解速度 如下圖所示,藍色的圈圈圖代表的是兩個特徵的等高線。其中左圖兩個特徵x1和x2的區間相差非常大,x1區間是 0,2000 x2區間是 1,5 其所形成的等高線非常尖。當使用梯度下降法尋求最優解時,很有可能走 之字型 路線 垂直等高線走 從而導致需要迭代很多次才能收斂 而右圖對...
向量組與向量空間
1 n個有次序的數,組成的陣列稱為n維向量,這n個數稱作分量,第i個數稱作第i個分量。由若干個同維向量可組成向量組 2 向量組a與係數k的線性組合表示為 如果 則稱向量b可以有向量組x線性表示 3 向量組b可以由向量組a線性表示的充要條件是r a r a,b 而兩個向量組等價的條件是r a r b ...
特徵向量的歸一化方法
在使用knn k nearest neighbours 根據特徵值進行分類的時候,如果所有變數位於同一值域範圍內,利用這些變數一次性算出距離值是有意義的。不過,假設我們引入乙個對最終的分類結果產生影響的新變數 不同型別的變數 heterogenous varibales 與我們目前使用過的變數不同 ...