《吳恩達機器學習》3 線性代數回顧

二、矩陣和向量運算

三、矩陣運算特性

四、逆矩陣和轉置

總結線性代數的知識在機器學習中是非常重要的，幾乎所有的運算都是基於矩陣（matrix）、向量（vector）的運算，因此打好線性代數的基礎（不求精通，只要基本的運算既可）是學習好machine learning的關鍵。

1、張量

張量（tensor），google出的機器學習框架tensorflow就以張量來命名，可見這個概念是多麼重要。

張量這一概念的核心在於，它是乙個資料容器。它包含的資料幾乎總是數值資料，因此它

是數字的容器。你可能對矩陣很熟悉，它是二維張量。張量是矩陣向任意維度的推廣［注意，

張量的維度（dimension）通常叫作軸（axis）］。

2、標量

3、矩陣

矩陣就是二維張量（2d 張量），在計算機中可以看成是二維陣列，下面是乙個矩陣ai

j其中i = 4, j = 2，表示這是乙個4x2的矩陣，再比如a1

2 = 191，表示第一行（raw）第二列（column）的值是191

4、向量

向量就是一維張量（1d 張量），我們在機器學習中常說的向量都是列向量，特別對於以後的計算這個很重要。當然你可以可以看出它是只有一列的矩陣，這個是一樣的概念，我們通常用小寫字母a,b,c,d表示，如y2 = 232，表示第二行的值是191

1、矩陣加法

注意只有同維度的矩陣才能相加，比如3x2的矩陣可以加上3x2的矩陣，但是3x2的矩陣加上2x2的矩陣是沒有意義的

2、矩陣與標量乘除法

很簡單就是與標量與每個數值相乘得到結果，與標量相乘不會改變本身的維度

3、矩陣與矩陣乘法（重要）

ax

mxbm

y = cx

y矩陣中必須m = m才成立，即a矩陣的列等於b矩陣的行，運算後的矩陣c的行等於a的行，列等於b的列

下面是乙個矩陣與向量相乘的例子，向量就是列數是1的矩陣

下面是矩陣與矩陣相乘的例子

1、不滿足乘法交換律

如ai

j x bj

k ≠ bj

k x ai

j，如矩陣的乘法必須滿足a列等於b行，反過來就不一定了，所以不滿足乘法交換律

2、滿足乘法結合律

如(a x b) x c = a x (b x c)，記住即可。可以自己推導以下是成立的

3、單位矩陣

單位矩陣即對角線元素是1的矩陣，乙個矩陣乘以單位矩陣等於矩陣本身

4、特殊技巧

如下圖示這個技巧挺好玩的，我們要得到右邊公式的值，可以把我們的輸入值轉為乙個矩陣，這樣乘以因斜率和截距組成的矩陣，即可得出我們的目標值。

這個在計算機中有個好處就是我們可以只寫一行**計算出結果，如用python程式設計時很快得出結果，而不是搞乙個for迴圈去遍歷所有的值去做運算

1、逆矩陣

設a是數域上的乙個n階矩陣，若在相同數域上存在另乙個n階矩陣b，使得： ab=ba=e ，則我們稱b是a的逆矩陣，而a則被稱為可逆矩陣。注：e為單位矩陣。

2、轉置

矩陣的轉置很好理解，就是乙個矩陣ai

吳恩達《機器學習》課程總結（3）線性代數回顧

幾行幾列即為矩陣。ij表示第i行第j列。只有一行或者一列的稱為向量，向量是一種特殊矩陣。一般向量指的是列向量。加法 元素對應相加。標量乘法 標量和矩陣每乙個元素相乘。要求 第乙個矩陣的列數等於第二個矩陣的行數，如 x n矩陣與 x 1矩陣相乘，結果為第乙個矩陣的行數乘以第二個矩陣的列數。結果 ij是...

吳恩達機器學習之線性回歸

x代表屬性的矩陣，x i x x i 代表x的第i行，xj i x j xj i 代表x第i行第j列，theta 是引數向量。估計函式h x i 0mx i x h x sum mx theta x theta h x i 0 m x i x 代價函式j 12 m i 0m x i y i 2 12...

機器學習入門 線性代數簡單回顧

很基礎的，我會直接跳過，並對矩陣的一些運算進行程式設計實現。矩陣加法 要求行列數要相等，然後，每個元素對應相加。exp 矩陣的標量乘法 每個元素都要乘 exp 矩陣的向量乘法，就是矩陣和向量相乘。要求 矩陣的列數要與向量的行數相等！exp 如上例所示，2 3的矩陣乘以3 1的向量，得到2 1的向量。...