機器學習基礎 一些基本的概念

開始重新鞏固一下機器學習的內容，先從基本的一些概念和定義開始。

機器學習的基本定義

區域性最優和全域性最優

機器學習、深度學習、資料探勘、大資料之間的關係

為什麼要使用機器學習

機器學習演算法是一種能夠從資料中學習的演算法。那麼這裡的學習的定義是什麼呢？這裡有乙個簡單的定義：

對於某類任務 t 和效能度量 p，乙個電腦程式通過經驗 e 改進後，在任務 t 上由效能度量 p 衡量的效能有所提公升，這稱為學習。

這裡的任務 t、經驗 e 和效能 p 其實指代的內容非常的多，這裡簡單的介紹一下。

首先，對於任務 t，在機器學習領域裡，可以是這些方向的任務：

對於效能度量 p，在不同的任務中會採用不同的效能指標，比如：

而經驗 e，一般就是指資料集了，不同的任務對資料集的要求也不一樣，比如分類一般就是和的標籤，但目標檢測、影象分割，需要的除了、標籤，有的還需要中物體的標註框或者座標資訊等。

優化問題一般分為區域性最優和全域性最優。其中，

區域性最優，就是在函式值空間的乙個有限區域內尋找最小值；而全域性最優，是在函式值空間整個區域尋找最小值問題。

函式區域性最小點是它的函式值小於或等於附近點的點，但是有可能大於較遠距離的點。

全域性最小點是那種它的函式值小於或等於所有的可行點。

通常一階導數為 0 的點稱為穩定點，可以分為三類：

鞍點如下所示：

根據文章：geometry of neural network loss su***ces via random matrix theory，可以看到神經網路的 hessian 矩陣的特徵值分布如下:

ϕ 表示引數數目和資料量之比，其值越大表示數量相對較少，λ

\lambda

λ 是特徵值，ϵ

\epsilon

ϵ 表示 loss 值，所以從上圖可以得到：

另外一種判斷是否是鞍點的方法：若某個一階導數為0的點在至少乙個方向上的二階導數小於0，那它就是鞍點。

最優點和鞍點的區別在於其在各個維度是否都是最低點。

只要某個一階導數為0的點在某個維度上是最高點而不是最低點，那它就是鞍點。而區分最高點和最低點當然就是用二階導數，斜率從負變正的過程當然就是「下凸」，即斜率的導數大於0，即二階導數大於0。反之則為「上凹」，二階導數小於0。

實際上，我們並不需要害怕陷入區域性最小值，原因有這幾個：

另外，根據的回答：

實際上我們可能並沒有找到過」區域性最優「，更別說全域性最優了；

」區域性最優是神經網路優化的主要難點「，這其實是來自於一維優化問題的直觀想象，單變數的情況下，優化問題最直觀的困難就是有很多區域性極值。但在多變數的情況下，就不一定能找到區域性最優了；

利用嚴格鞍點負特徵值對應的方向，採用矩陣向量乘積的形式找到下降方向；

利用擾動梯度方法逃離鞍點，在梯度的模小於某個數的時候，在梯度上加個動量。

首先來看這四者簡單的定義：

關於這四個的關係，可以如下圖所示：

機器學習和資料探勘之間的關係如下：

資料探勘是乙個過程，在此過程中機器學習演算法被用作提取資料集中的潛在有價值模式的工具。

（1）深度學習是一種模擬大腦的行為。可以從所學習物件的機制以及行為等等很多相關聯的方面進行學習，模仿型別行為以及思維。

（2）深度學習對於大資料的發展有幫助。深度學習對於大資料技術開發的每乙個階段均有幫助，不管是資料的分析還是挖掘還是建模，只有深度學習，這些工作才會有可能一一得到實現。

（3）深度學習轉變了解決問題的思維。很多時候發現問題到解決問題，走一步看一步不是乙個主要的解決問題的方式了，在深度學習的基礎上，要求我們從開始到最後都要基於乙個目標，為了需要優化的那個最終目標去進行處理資料以及將資料放入到資料應用平台上去，這就是端到端（end to end）。

（4）大資料的深度學習需要乙個框架。在大資料方面的深度學習都是從基礎的角度出發的，深度學習需要乙個框架或者乙個系統。總而言之，將你的大資料通過深度分析變為現實，這就是深度學習和大資料的最直接關係。

機器學習和深度學習的關係：

機器學習的核心是數學，是用乙個數學模型，然後輸入資料來調節數學模型的引數，從而讓數學模型可以解決特定的某類問題。簡單說就是希望訓練得到乙個可以解決特定問題的數學函式。

原因如下：

一些機器學習的應用例子：

《深度學習》

深度學習 500 問–

關於機器學習的一些概念

在連線主義學習中，把學習演算法分為三種型別，即非監督學習 unsupervised learning 監督學習 supervised leaning 和強化學習。強化學習 所謂強化學習就是智慧型系統從環境到行為對映的學習，以使獎勵訊號 強化訊號 函式值最大，強化學習不同於連線主義學習中的監督學習，主...

機器學習整理的一些概念

機器學習整理的一些概念 監管學習 所謂監管學習就是給定一堆樣本，每個樣本都有一組屬性和乙個類別，這些類別是事先確定的，那麼通過學習得到乙個分類器，這個分類器能夠對新出現的物件給出正確的分類。這樣的機器學習就被稱之為監督學習。熵是資訊不確定性的乙個測度，熵越大則表示資訊的不確定程度越高 舉個例子 明天...

機器學習的一些常用概念

1.引數模型 parametric models 與非引數模型 non parametric models 模型是否有固定數目的引數？若是則為引數模型，若引數數目隨著訓練資料集增大而增加則為非引數模型。一般而言，引數模型更快，然而卻對資料分布特性進行了更強的假設。非引數模型則更加靈活，但是對於大資料...