基於皮爾森相關性的相似度 —— pearson correlation-based similarity
標準差（standard deviation）：標準差是方差的平方根
方差(variance)：在概率論和統計學中，乙個隨機變數的方差表述的是它的離散程度，也就是該變數與期望值的距離。
即方差等於誤差的平方和的期望
基於皮爾森相關係數的相似度有兩個缺點：
(1) 沒有考慮（take into account）使用者間重疊的評分項數量對相似度的影響；
(2) 如果兩個使用者之間只有乙個共同的評分項，相似度也不能被計算
上表中，行表示使用者（1～5）對專案（101～103）的一些評分值。直觀來看，user1和user5用3個共同的評分項，並且給出的評分走差也不大，按理他們之間的相似度應該比user1和user4之間的相似度要高，可是user1和user4有乙個更高的相似度1。
同樣的場景在現實生活中也經常發生，比如兩個使用者共同**了200部電影，雖然不一定給出相同或完全相近的評分，他們之間的相似度也應該比另一位只**了2部相同電影的相似度高吧！但事實並不如此，如果對這兩部電影，兩個使用者給出的相似度相同或很相近，通過皮爾森相關性計算出的相似度會明顯大於**了相同的200部電影的使用者之間的相似度。
相關性分析 皮爾森 斯皮爾曼肯德爾相關性係數
def person func x,y 1.person correlation coefficient 皮爾森相關性係數 皮爾遜相關係數通常用r或 表示，度量兩變數x和y之間相互關係 線性相關 1 公式 皮爾森相關性係數的值等於它們之間的協方差cov x,y 除以它們各自標準差的乘積 x,y 2 ...
文字匹配（語義相似度 行為相關性）技術綜述
nlp 中，文字匹配技術，不像 mt mrc qa 等屬於 end to end 型任務，通常以文字相似度計算 文字相關性計算的形式，在某應用系統中起核心支撐作用，比如搜尋引擎 智慧型問答 知識檢索 資訊流推薦等。本篇將縱覽文字匹配的技術發展，並重點介紹文字語義相似度計算技術，以及多輪對話場景中的文...
皮爾森相似度計算舉例 R語言
整理了一下最近對協同過濾推薦演算法中的皮爾森相似度計算，順帶學習了下r語言的簡單使用，也複習了概率統計知識。一 概率論和統計學概念複習 1 期望值 expected value 因為這裡每個數都是等概率的，所以就當做是陣列或向量中所有元素的平均數吧。可以使用r語言中函式mean 2 方差 varia...