如果對向量模長進行歸一化,歐式距離和余弦相似度有如下計算關係:
● 適用場景
余弦相似度計算的向量的夾角,它並不關心向量的絕對大小。
歐式距離體現的是數值上的絕對差異。
● 結論
做了標準化後,余弦相似度與歐式距離成正比(等價性)。
● 公式
相關性分為線性相關(正、負)和線性無關、
● 通俗理解
你可以把向量想成乙個乙個的人,這些人構成乙個小組(以下舉例a、b、c三人)。
線性相關:如果該組有乙個人(a)能完成的工作,其他成員(b+ 0c、0b+c、k1b+k2c…)也能完成,那麼該人就是「多餘」的,沒有他工作也能完成。
線性無關:該組每個人都是各個領域的大牛,沒有其他人能代替他們完成相應的工作,他們獨一無二的,少了乙個都不行。
在高等數學裡面,向量二維和三維相關,就是共線(座標對應成比例)和共面的問題。。
● 正交基
不相關的(正交)向量組成的空間。
兩個向量相乘為0稱這兩個向量正交,零向量與任何向量正交。
● 標準基
標準基表示一組長度為1的基
● 標準正交基
標準正交基表示一組長度為1且兩兩正交的基。
● 完備基
由兩兩不相關的正交基組成的方陣,它能夠表達乙個完整的空間。
在這個空間中的任何乙個點,都可以由這三個基(軸)來表示。
● 欠完備基
不能夠表達乙個完整空間的基的組合,比如非正交基的組合以及非方陣的組合,比如用兩個向量表示乙個三維空間,或者用四個向量表示乙個三維空間(必定存在兩個向量是相關的)
● 本質
給乙個向量乘以乙個變換矩陣(完備基),形成新的向量,這個新的向量就是被變換後的向量。乙個向量a和另乙個向量b的內積,相當於a在b上的投影(投影會降維),乘以矩陣就是多段投影。
● 方法
在當前空間座標系中改變目標向量(標量、矩陣)
目標向量(標量、矩陣)和當前棧空間座標系作為整體一起改變。
● 圖形
對乙個向量x的變換步驟:把x的特徵分解到乙個新的矩陣a的軸.上,然後再用分解到這個矩陣a的軸上的特徵乘以原來的軸,得到新的特徵,新的矩陣軸上的新的特徵交點就是變換後的向量ax.
仿射變換(affine transformation或 affine map)是一種二維座標到二維座標之間的線性變換,它保持了二維圖形的「平直性」(即:直線經過變換之後依然是直線)和「平行性」。
(即:二維圖形之間的相對位置關係保持不變,平行線依然是平行線,且直線上點的位置順序不變)。
含義:乙個矩陣a乘以乙個(特徵向量)向量x等於乙個標量(特徵值) λ乘以乙個(特徵向量)向量x。
● 推理公式:vax = vλx
等式左邊: 乙個向量v乘以乙個矩陣a,相當於對向量v做了一次線性變換,然後變換後的v向量再乘以乙個特徵向量x,就相當於變換後的v向量在x向量上的投影,是乙個標量。
等式右邊:乙個向量v乘以乙個標量(特徵值) λ,相當於對這個向量做乙個一次線性變換, 然後變換後的向量v再乘以乙個特徵向量λ,相等於變換後的v向量在x向量上的投影,也是乙個標量。
● 意義
使用標量λ來代替矩陣a,主要是為了方便觀察這個向量v在變換後在向量x上投影的變化方向。
特徵值λ就是向量v經過變換後投影到x上的值,特徵值λ越大,說明這個向量v在這個x軸上的變換越大,越重要。
● 目的
表示乙個向量變化之後在某個軸上的投影。
● 影象
● 推理
ax=λx, λx-ax=0,可得(λe-a) x=0
● 公式
● 條件
要求p是正交陣,否則需要通過求偽逆的方式實現。
● 意義
對乙個矩陣做相似變換
想把乙個矩陣a變成矩陣b,只需要找到乙個矩陣p,做乙個相似變換即可。
相似矩陣的本質就是兩組不同的基都代表了同乙個空間,這兩組基之間存在乙個轉換關係,就是矩陣p.
● 公式推導
因為p是正交陣,所以p^(-1)ap= b可以寫成p^tap=b。
● 變換公式
p^(-1)ap=b, pp^(-1)=e, ae=a, a=b
ap=pb,a=b, a和b就是相似矩陣p
用ap= pb對比特徵方程ax=λx,發現二者非常相似, 如
果把x和λ都換成矩陣p和b,特徵方程的公式就可以是
ap=bp
● vap = vpb
● 定義
相似矩陣p^(-1)ap=b中,當p不是方陣的時候,a矩陣
的特徵值被稱為奇異值。
● 公式
a=u∑v^t
● 推理
可見,特徵值只是相對於方陣而言的,而奇異值是相對於所有矩陣而言的,可以認為特徵值是一種特殊的奇異值。
因為在p^(-1)ap=b中,p不是方陣,所以公式被寫成了
a=u∑v^t。
● 意義
可以做推薦系統演算法
降維,取消不重要的奇異值
● 定義
最大的特徵值被稱為矩陣的譜範數
● 簡述
矩陣的特徵值被稱為譜
用譜範數做歸一化被稱為譜範數歸一化
● 應用
例如度量乙個矩陣的大小,判斷演算法是否收斂等。
線性代數知識點1
跡和特徵值有很重要的聯絡 tr a 1 2 ntr a 1 2 n 特徵值還和a的行列式有關係 a 1 2 n a可逆時,1 1 為a 1a 1的特徵值 矩陣a與其轉置矩陣atat有相同的特徵值 k k 是矩陣ka的特徵值 k是任意常數 tr a b tr a tr b tr a b tr a tr...
簡歷專案涉及到的知識點
今天列舉一下簡歷中專案涉及到的知識點,逐漸補全。一 基於內容的遙感影象檢索系統 1 hadoop框架,mapredce並行運算,hdfs檔案系統分布式儲存。1 如何讓每次map讀取一整幅?1 四叉樹分割 在灰度均勻分布的區域內,灰度的標準方差較小 而在灰度非均勻分布的區域內,灰度的標準方差較大。灰度...
地標檢索涉及到的知識點
地標檢索和識別 比賽介紹分析 地標檢索 方法a 檔案儲存情況 其他方案 涉及到的內容 地標檢索 利用多個backbone inception 網路和gem pooling triplet loss提取全域性網路特徵描述子 建立kdtree通過knn尋找近鄰,利用近鄰根據權重重新生成新的描述子,以進行...