一.術語解釋
1.數值解與閉解（解析解）
數值解就是具體的值，如 x=1,y=2 這類的。
閉解就是用函式所表達出來的解，如 x=y-t; 等
2.最大似然估計
是用來估計乙個概率模型的引數的一種方法。簡單來說就是，比如我又乙個樣本x1,x2,x3.....xn, 它服從某個以
最大似然估計就是求
3.元件
機器學習包含四大元件：特定的資料集，代價函式，優化過程和模型。
4.維數災難
資料的維數很高時，很多機器學習問題變得相當困難。特別值得注意的是，一組變數不同的可能配置數量會隨著變數數目的增加而指數級增長。簡單來說就是變數越大，所有變數的值空間就越大。
5.統計挑戰
統計挑戰產生於 x 的可 能配置數目遠大於訓練樣本的數目。打個比方：如果是2個特徵變數的2次函式擬合，代價函式中就可能有
x1^2, x2^2, x1x2而3個特徵則可能有
x1^2, x2^2, x3^2, x1x2, x1x3, x2x3, x1x2x36. 區域性不變性先驗
我們學習的函式不應在小區域內發生很大的變化。換言之，如果我們知道對應輸入 x 的答案(例如，x 是個有標籤的訓練樣本)，那麼 該答案對於 x 的鄰域應該也適用。
f(x)應約等於f(x+7. 流形學習
流形(manifold)指連線在一起的區域。數學上，它是指一組點，且每個點都 有其鄰域。給定乙個任意的點，其流形區域性看起來像是歐幾里得空間。儘管術語 「流形』』 有正式的數學定義，但是機器學習傾向於更鬆散地定義一組 點，只需要考慮少數嵌入在高維空間中的自由度或維數就能很好地近似。
簡單來說就是這一系列的點它的走向，比如說直線，二次曲線這樣，將所有的點用條曲線串起來這樣。
如果我們希望機器學習演算法學習整個 rn 上有趣變化的函式，那麼很多機器學 習問題看上去都是無望的。流形學習(manifold learning)演算法通過乙個假設來克服 這個障礙，該假設認為 rn 中大部分區域都是無效的輸入，有意義的輸入只分布在包 含少量資料點的子集構成的一組流形中，而學習函式的輸出中，有意義的變化都 著流形的方向或僅發生在我們切換到另一流形時。
就是說我看要有偏向性，比如說地球在整個空間中是個球體流形，但是我就從乙個面去看他，就只是二維空間中的乙個圓。
8.雜訊
實際輸入資料中基本都存在雜訊。
主要有兩種：標記錯誤（是惡性的標記成良性）和輸入錯誤（年收入1萬寫成1000）。
9.深度前饋網路
也叫作 前饋神經網路(feedforward neural network)或者 多層感知機(multilayer perceptron, mlp)，是典型的深度學習模型。前饋網路的目標是近似某個函式 f∗。例如，對於分類器，y = f∗(x) 將輸入 x 對映到乙個類別 y。前饋網路定義了乙個對映 y = f (x; θ)，並且學習引數 θ 的值， 使它能夠得到最佳的函式近似。
這種模型被稱為 前向(feedforward)的，是因為資訊流過 x 的函式，流經用於 定義 f 的中間計算過程，最終到達輸出 y。在模型的輸出和模型本身之間沒有 反饋 (feedback)連線。
前饋神經網路被稱作 網路(network)是因為它們通常用許多不同函式復合 在一起來表示。
10.輸入層，輸出層，隱藏層
輸入層：前饋網路第一層。
輸出層：前饋網路最後一層。
隱藏層：輸入層和輸出層中間的。
二.問題
1.為什麼只要在要學習的真實函式的峰值和谷值處有足夠多的樣本，那麼平滑性假設和 相關的無引數學習演算法的效果都非常好。
機器學習術語總結 2 個人向
一.術語 1.凸集 在點集拓撲學與歐幾里得空間中，凸集 convex set 是乙個點集合，其中每兩點之間的直線點都落在該點集合中。2e.凸函式凸函式是乙個定義在某個向量空間的凸子集 c 區間 上的實值函式 f，如果在其定義域 則是凸函式，上述不等式中，左部分是介於x和y之間的一點，右部分是基於線性...
機器學習術語總結 4 個人向
1.雙曲正切啟用函式 2.徑向基函式 radial basis function,rbf 常見的隱藏單元型別之一，徑向基函式是乙個取值僅依賴於到原點距離的實值函式，即 3.架構 architecture 神經網路設計的另乙個關鍵點是確定它的架構。架構一詞是指網路的整體結構 它應該具有多少單元，以及這...
機器學習術語總結 7 個人向
卷積網路，也叫做 卷積神經網路 convolutional neural network,cnn 是一種專門用來處理具有類似網格結構的資料的 神經網路。例如時間序列資料 可以認為是在時間軸上有規律地取樣形成的一維網 格 和影象資料 可以看作是二維的畫素網格 卷積網路在諸多應用領域都表現優 異。卷積是...