線性代數主要是面向連續數學。
標量：乙個標量就是乙個單獨的數。
向量：乙個向量就是一列數。我們可以把向量看成空間中的點，每個元素是不同座標軸上的座標。
矩陣：矩陣是乙個二維陣列，其中每個元素由兩個索引所確定。
張量：乙個陣列中的元素分布在若干維座標中的規則網路。
元素對應相乘：a⋅b
a · b
a⋅b
點積：c=a
bc=ab
c=ab
，矩陣乘法
範數：衡量你乙個向量的大小。範數是向量對映到非負值的函式。
範數滿足一下幾條性質：
① f(xl2l^)=0=
>x=
0f(x)=0 => x=0
f(x)=0
=>x=
0；② f (x
+y)⩽
f(x)
+f(y
)f(x+y)\leqslant f(x)+f(y)
f(x+y)
⩽f(x
)+f(
y)（三角不等式）
③ ∀ α∈
r,f(
αx)=
∣α∣f
(x
)\forall \alpha \in \mathbb,f(\alpha x)=|\alpha |f(x)
∀α∈r,f
(αx)
=∣α∣
f(x)
l2範數稱為歐幾里得範數，在機器學習中出現的非常頻繁。平方l2l^
l2範數經常用來衡量向量的大小，可以簡單的通過點積xtx
x^xxt
x計算。
平方l 2l^
l2範數在數學上和計算上都比l2l^
l2範數本身更方便，但是平方l2l^
l2範數在原點附近增長的非常緩慢。
當機器學習中零和非零元素之間的差異非常重要時，通常會使用l1l^
l1範數。有時候，我們會統計向量中非零元素的個數來衡量向量的大小。
f ro
beni
us
frobenius
froben
ius範數，簡稱f
ff-範數，可以衡量矩陣的大小。在深度學習中，經常可以看到。其類似於向量的l2l^
l2範數。∣∣a
∣∣f=
∑i,j
ai,j
2||a||_=\sqrta_^}
∣∣a∣∣f
=i,
j∑a
i,j2
AI聖經 深度學習 讀書筆記（一） 引言
機器學習 ai系統需要具備自己 獲取自己獲取知識的能力 即從原始資料中提取模式的能力。許多人工智慧任務都可以通過以下方式解決 先提取乙個合適的特徵集，然後將這幾個特徵提供給簡單的機器學習演算法。表示學習 使用機器學習來發掘表示本身，而不僅僅把表示對映到輸出。深度學習 通過其他較簡單的表示來表達複雜表...
AI聖經 深度學習 讀書筆記（三） 概率與資訊理論
概率論使我們能夠提出不確定的申明以及在不確定性存在的情況下進行推理，而資訊理論使我們能夠量化概率分布中不確定性的總量。我們用概率來表示一種信任度，概率直接與事件發生的頻率相聯絡，稱為頻率派概率。概率涉及到確定性水平，稱為貝葉斯概率。期望 對隨機變數的值求平均。方差 衡量的是當我們對x xx依據它的概...
《Python深度學習》讀書筆記（二）
整個深度學習問題可以分為兩類 化繁為簡 給出一堆資料，含有輸入和標籤，讓機器自己去學習到乙個規則，其中包含分類 回歸兩大問題。化簡為繁 如現在給機器一些，讓機器自己學習然後生成一些或者文字，比如訓練集給的是人類平時的對話，讓機器能夠學習生成一些文字或影象等。如 gnn等 首先看一下keras官方提供...