機器學習 幾種距離度量方法比較

2021-08-07 13:20:52 字數 1698 閱讀 9177

1. 歐氏距離(euclidean distance)

歐氏距離是最容易直觀理解的距離度量方法,我們小學、初中和高中接觸到的兩個點在空間中的距離一般都是指歐氏距離。

歐氏距離

二維平面上點a(x1,y1)與b(x2,y2)間的歐氏距離:

n維空間點a(x11,x12,…,x1n)與b(x21,x22,…,x2n)間的歐氏距離(兩個n維向量):

2. 曼哈頓距離(manhattan distance)

顧名思義,在曼哈頓街區要從乙個十字路口開車到另乙個十字路口,駕駛距離顯然不是兩點間的直線距離。這個實際駕駛距離就是「曼哈頓距離」。曼哈頓距離也稱為「城市街區距離」(city block distance)。

曼哈頓距離

二維平面兩點a(x1,y1)與b(x2,y2)間的曼哈頓距離:

n維空間點a(x11,x12,…,x1n)與b(x21,x22,…,x2n)的曼哈頓距離:

3. 切比雪夫距離 (chebyshev distance)

西洋棋中,國王可以直行、橫行、斜行,所以國王走一步可以移動到相鄰8個方格中的任意乙個。國王從格仔(x1,y1)走到格仔(x2,y2)最少需要多少步?這個距離就叫切比雪夫距離。

切比雪夫距離_西洋棋

二維平面兩點a(x1,y1)與b(x2,y2)間的切比雪夫距離:

n維空間點a(x11,x12,…,x1n)與b(x21,x22,…,x2n)的切比雪夫距離:

4. 閔可夫斯基距離(minkowski distance)

閔氏距離不是一種距離,而是一組距離的定義,是對多個距離度量公式的概括性的表述。

閔氏距離定義:

兩個n維變數a(x11,x12,…,x1n)與b(x21,x22,…,x2n)間的閔可夫斯基距離定義為:

其中p是乙個變引數:

當p=1時,就是曼哈頓距離;

當p=2時,就是歐氏距離;

當p→∞時,就是切比雪夫距離。

因此,根據變引數的不同,閔氏距離可以表示某一類/種的距離。

閔氏距離,包括曼哈頓距離、歐氏距離和切比雪夫距離都存在明顯的缺點。

e.g. 二維樣本(身高[單位:cm],體重[單位:kg]),現有三個樣本:a(180,50),b(190,50),c(180,60)。那麼a與b的閔氏距離(無論是曼哈頓距離、歐氏距離或切比雪夫距離)等於a與c的閔氏距離。但實際上身高的10cm並不能和體重的10kg劃等號。

閔氏距離的缺點:

(1)將各個分量的量綱(scale),也就是「單位」相同的看待了;

(2)未考慮各個分量的分布(期望,方差等)可能是不同的。

幾種距離的度量方式

歐氏距離是最容易直觀理解的距離度量方法,我們小學 初中和高中接觸到的兩個點在空間中的距離一般都是指歐氏距離。二維平面上點a x1,y1 與b x2,y2 間的歐氏距離 三維空間點a x1,y1,z1 與b x2,y2,z2 間的歐氏距離 n維空間點a x11,x12,x1n 與b x21,x22,x...

相似性度量 機器學習距離公式總結

所有距離公式列表 嚴格意義上來看,閔可夫斯基距離不是一種距離,而是一組距離的定義。兩個n維向量 a x11,x12,x1n 與 b x2 1,x2 2,x2 n 間的閔可夫斯基距離為 其中 是乙個變引數 因此我們根據 引數的不同,閔可夫斯基距離可以表示一類距離。歐式距離即l2範數,是歐式空間兩點間的...

無監督學習 距離度量

距離度量 distance measure 函式dist 滿足的一般性質 非負性 dist xi,xj 0 同一性 dist xi,xj 0,當且僅當xi xj 對稱性 dist xi,xj dist xj,xi 直遞性 dist xi,xj dist xi,xk dist xk,xj 常用的距離度...