人工智慧 機器學習 深度學習簡介及相互關係

2021-10-04 21:55:06 字數 3048 閱讀 9807

深度學習

人工智慧誕生於20 世紀50 年代,當時電腦科學這一新興領域的少數先驅開始提出疑問:計算機是否能夠「思考」?我們今天仍在探索這一問題的答案。

人工智慧的簡潔定義如下:努力將通常由人類完成的智力任務自動化。因此,人工智慧是乙個綜合性的領域,不僅包括機器學習與深度學習,還包括更多不涉及學習的方法。

例如,早期的西洋棋程式僅包含程式設計師精心編寫的硬編碼規則,並不屬於機器學習。在相當長的時間內,許多專家相信,只要程式設計師精心編寫足夠多的明確規則來處理知識,就可以實現與人類水平相當的人工智慧。這一方法被稱為符號主義人工智慧(symbolic ai),從20 世紀50 年代到80 年代末是人工智慧的主流正規化。在20 世紀80 年代的專家系統(expert system)熱潮中,這一方法的熱度達到了頂峰。

雖然符號主義人工智慧適合用來解決定義明確的邏輯問題,比如下西洋棋,但它難以給出明確的規則來解決更加複雜、模糊的問題,比如影象分類、語音識別和語言翻譯。於是出現了一種新的方法來替代符號主義人工智慧,這就是機器學習(machine learning)。

查爾斯• 巴貝奇發明了分析機,它的用途僅僅是利用機械操作將數學分析領域的某些計算自動化。

隨後,人工智慧先驅阿蘭• 圖靈在其1950 年發表的**「計算機器和智慧型」 中介紹了圖靈測試以及日後人工智慧所包含的重要概念。圖靈還思考了這樣乙個問題:對於計算機而言,如果沒有程式設計師精心編寫的資料處理規則,計算機能否通過觀察資料自動學會這些規則?

圖靈的這個問題引出了一種新的程式設計正規化。在經典的程式設計(即符號主義人工智慧的正規化)中,人們輸入的是規則(即程式)和需要根據這些規則進行處理的資料,系統輸出的是答案。利用機器學習,人們輸入的是資料和從這些資料中預期得到的答案,系統輸出的是規則。這些規則隨後可應用於新的資料,並使計算機自主生成答案。

機器學習(尤其是深度學習)呈現出相對較少的數學理論,並且是以工程為導向的。這是一門需要上手實踐的學科,想法更多地是靠實踐來證明,而不是靠理論推導。

給定包含預期結果的示例,機器學習將會發現執行一項資料處理任務的規則。因此,我們需要以下三個要素來進行機器學習。

機器學習模型將輸入資料變換為有意義的輸出,這是乙個從已知的輸入和輸出示例中進行「學習」的過程。因此,機器學習和深度學習的核心問題在於有意義地變換資料,換句話說,在於學習輸入資料的有用表示——這種表示可以讓資料更接近預期輸出。機器學習中的學習指的是,尋找更好資料表示的自動搜尋過程。

所有機器學習演算法都包括自動尋找這樣一種變換:這種變換可以根據任務將資料轉化為更加有用的表示。這些操作可能是前面提到的座標變換,也可能是線性投影(可能會破壞資訊)、平移、非線性操作(比如「選擇所有x>0 的點」),等等。機器學習演算法在尋找這些變換時通常沒有什麼創造性,而僅僅是遍歷一組預先定義好的操作,這組操作叫作假設空間。

這就是機器學習的技術定義:在預先定義好的可能性空間中,利用反饋訊號的指引來尋找輸入資料的有用表示

概率建模

概率建模(probabilistic modeling)是統計學原理在資料分析中的應用。它是最早的機器學習形式之一,至今仍在廣泛使用。

核方法核方法是一組分類演算法。

決策樹類演算法

深度學習是機器學習的乙個分支領域:它是從資料中學習表示的一種新方法,強調從連續的層(layer)中進行學習,這些層對應於越來越有意義的表示。「深度學習」中的「深度」指的並不是利用這種方法所獲取的更深層次的理解,而是指一系列連續的表示層。資料模型中包含多少層,這被稱為模型的深度(depth)。

其他機器學習方法的重點往往是僅僅學習一兩層的資料表示,因此有時也被稱為淺層學習(shallow learning)。

在深度學習中,這些分層表示幾乎總是通過叫作神經網路(neural network)的模型來學習得到的。

深度學習在21 世紀前十年才崛起。在隨後的幾年裡,它在實踐中取得了革命性進展,在視覺和聽覺等感知問題上取得了令人矚目的成果,而這些問題所涉及的技術,在人類看來是非常自然、非常直觀的,但長期以來卻一直是機器難以解決的。特別要強調的是,深度學習已經取得了以下突破,它們都是機器學習歷史上非常困難的領域:

效果好

自2012 年以來,深度卷積神經網路(convnet)已成為所有計算機視覺任務的首選演算法。更一般地說,它在所有感知任務上都有效。與此同時,深度學習也在許多其他型別的問題上得到應用,比如自然語言處理。它已經在大量應用中完全取代了svm 與決策樹。

深度學習從資料中進行學習時有兩個基本特徵:第一,通過漸進的、逐層的方式形成越來越複雜的表示;第二,對中間這些漸進的表示共同進行學習,每一層的變化都需要同時考慮上下兩層的需要。總之,這兩個特徵使得深度學習比先前的機器學習方法更加成功。

簡單

深度學習讓解決問題變得更加簡單,因為它將特徵工程完全自動化,而這曾經是機器學習工作流程中最關鍵的一步。

先前的機器學習技術(淺層學習)僅包含將輸入資料變換到一兩個連續的表示空間,通常使用簡單的變換,比如高維非線性投影(svm)或決策樹。但這些技術通常無法得到複雜問題所需要的精確表示。因此,人們必須竭盡全力讓初始輸入資料更適合用這些方法處理,也必須手動為資料設計好的表示層。這叫作特徵工程。

與此相反,深度學習完全將這個步驟自動化:利用深度學習,你可以一次性學習所有特徵,而無須自己手動設計。這極大地簡化了機器學習工作流程,通常將複雜的多階段流程替換為乙個簡單的、端到端的深度學習模型。

不過,當前工業界所使用的絕大部分機器學習演算法都不是深度學習演算法。深度學習不一定總是解決問題的正確工具:有時沒有足夠的資料,深度學習不適用;有時用其他演算法可以更好地解決問題。

在2016 年和2017 年,kaggle 上主要有兩大方法:梯度提公升機和深度學習。具體而言,梯度提公升機用於處理結構化資料的問題,而深度學習則用於影象分類等感知問題。使用前一種方法的人幾乎都使用優秀的xgboost 庫,它同時支援資料科學最流行的兩種語言:python 和r。使用深度學習的kaggle 參賽者則大多使用keras 庫,因為它易於使用,非常靈活,並且支援python。

人工智慧,機器學習,深度學習

所謂人工智慧,通俗地講是指由人工製造出來的系統所表現出來的智慧型 機器學習簡單來講就是通過演算法,使機器能從大量歷史資料中學習規律,從而對新的樣本做出智慧型識別或對未來做 機器學習是基於概率統計 矩陣或圖模型而得出的分析結論 機器學習是人工智慧的乙個分支 深度學習是機器學習的乙個新領域 監督學習 邏...

人工智慧 機器學習和深度學習

注 本文翻譯自網上的一篇文章,有刪節,原文 人工智慧 這個術語大家都比較熟悉。畢竟,它一直是電影中的熱門焦點,例如 終結者 黑客帝國 等等。但您最近可能還聽說過其他術語,如 機器學習 和 深度學習 有時它們與 人工智慧 交替使用。結果,人工智慧 機器學習和深度學習之間的區別可能非常不明確。接下來,我...

人工智慧 機器學習和深度學習

人工智慧定義 努力將通常由人類完成的智力任務自動化。人工智慧是乙個綜合性的領域,不僅包括機器學習與深度學習,還包括更多不涉及學習的方法。機器學習 給定包含預期結果的示例,機器學習將會發現執行一項資料處理任務的規則。機器學習的技術定義 在預先定義好的可能性空間中,利用反饋訊號的指引來尋找輸入資料的有用...