線性代數不僅僅是人工智慧的基礎，更是現代數學和以現代數學作為主要分析方法的眾多學科的基礎。從量子力學到影象處理都離不開向量和矩陣的使用。每個向量都由若干標量構成，如果將向量的所有標量都替換成相同規格的向量，得到的就是矩陣（matrix）。
相對於向量，矩陣同樣代表了維度的增加，矩陣中的每個元素需要使用兩個索引（而非乙個）確定。同理，如果將矩陣中的每個標量元素再替換為向量的話，得到的就是張量（tensor）。直觀地理解，張量就是高階的矩陣。
範數和內積
概率論也代表了一種看待世界的方式，其關注的焦點是無處不在的可能性。對隨機事件發生的可能性進行規範的數學描述就是概率論的公理化過程。古典概率全概率貝葉斯
概率的估計有兩種方法：最大似然估計法（maximum likelihood estimation）和最大後驗概率法（maximum a posteriori estimation），兩者分別體現出頻率學派和貝葉斯學派對概率的理解方式。離散分布
除了概率質量函式 / 概率密度函式之外，另一類描述隨機變數的引數是其數字特徵。數字特徵是用於刻畫隨機變數某些特性的常數，包括數學期望（expected value）、方差（variance）和協方差（covariance）。
數理統計（mathematical statistics）根據觀察或實驗得到的資料來研究隨機現象，並對研究物件的客觀規律做出合理的估計和判斷。樣本均值和樣本方差是兩個最重要的統計量：
統計推斷的基本問題可以分為兩大類：引數估計（estimation theory）和假設檢驗（hypothesis test）。
引數估計
對估計量的判別標準涉及了估計誤差的影響，這是和估計值同樣重要的參量。在估計未知引數 θ 的過程中，除了求出估計量，還需要估計出乙個區間，並且確定這個區間包含 θ 真實值的可信程度。在數理統計中，這個區間被稱為置信區間（confidence interval），這種估計方式則被稱為區間估計。
假設檢驗
泛化誤差的構成可以分為三部分：偏差（bias）、方差（variance）和雜訊（noise）。根據約束條件的不同，最優化問題可以分為無約束優化（unconstrained optimization）和約束優化（constrained optimization）兩類。無約束優化對自變數 x 的取值沒有限制，約束優化則把 x 的取值限制在特定的集合內，也就是滿足一定的約束條件。
約束優化
無約束優化
信源熵
條件熵
互資訊
資訊增益
不同的命題之間則可以用邏輯聯結詞建立聯絡，由簡單命題形成復合命題。按照優先順序由高到低排列，邏輯聯結詞包括以下五種。
推理的方式可以分為三種：正向推理、反向推理和雙向推理。
A 人工智慧 數學基礎
a.數學基礎 線性代數 基本概念 標量向量 矩陣範數 l1 向量絕對值之和 l2 向量的長度 lp p趨於無窮 向量中最大元素的取值 內積兩個向量之間的相對位置 余弦相似度 線性空間 內積空間 內積空間 正交基 標準正交基 特徵值和特徵向量 矩陣特徵值和特徵向量的動態意義在於表示了變化的速度和方向。...
人工智慧數學基礎 矩陣
人工智慧數學基礎系列文章 今天覆習矩陣，作為程式設計師，矩陣在程式中的應用想必或多或少都接觸過，特別是在影象變化演算法上的應用。1.定義 以上是乙個三元一次方程組，根據矩陣的 定義，有矩陣a如下圖 2.矩陣的運算 2.1.矩陣的加法 從上圖中我們可以看出，矩陣a和矩陣b相加，它們都是2 x 2的矩陣...
人工智慧數學基礎03之 隱函式推導
什麼是隱函式？如果方程f x,y 0能確定y是x的函式，那麼稱這種方式表示的函式是隱函式。本質上f x,y 0函式y f x 是一樣的，但是在數學理論中，總有一些函式，人們已經證明它們的函式關係，但是還是無法表示成顯函式的形式，就叫做隱函式。隱函式一般是乙個含x,y的方程如ey x2 x 0這種形式...