深度學習的背景是機器學習，機器學習（machine learning）是一門專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能的學科。機器能否像人類一樣能具有學習能力呢？2023年美國的塞繆爾(samuel)設計了乙個下棋程式，這個程式具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4年後，這個程式戰勝了設計者本人。又過了3年，這個程式戰勝了美國乙個保持8年之久的常勝不敗的冠軍。這個程式向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。
而從機器學習的基礎上，又有了深度的概念：
從乙個輸入中產生乙個輸出所涉及的計算可以通過乙個流向圖(flow graph)來表示：流向圖是一種能夠表示計算的圖，在這種圖中每乙個節點表示乙個基本的計算以及乙個計算的值，計算的結果被應用到這個節點的子節點的值。考慮這樣乙個計算集合，它可以被允許在每乙個節點和可能的圖結構中，並定義了乙個函式族。輸入節點沒有父節點，輸出節點沒有子節點。
這種流向圖的乙個特別屬性是深度(depth)：從乙個輸入到乙個輸出的最長路徑的長度。
傳統的前饋神經網路能夠被看做擁有等於層數的深度(比如對於輸出層為隱層數加1)。svms有深度2(乙個對應於核輸出或者特徵空間，另乙個對應於所產生輸出的線性混合)。[4]
人工智慧研究的方向之一，是以所謂 「專家系統」 為代表的，用大量 「如果-就」 (if - then) 規則定義的，自上而下的思路。人工神經網路 ( artifical neural network)，標誌著另外一種自下而上的思路。神經網路沒有乙個嚴格的正式定義。它的基本特點，是試圖模仿大腦的神經元之間傳遞，處理資訊的模式。
需要使用深度學習解決的問題有以下的特徵：
1.深度不足會出現問題。
2.人腦具有乙個深度結構。
3.認知過程逐層進行，逐步抽象。
4.深度不足會出現問題
在許多情形中深度2就足夠表示任何乙個帶有給定目標精度的函式。但是其代價是：圖中所需要的節點數(比如計算和引數數量)可能變的非常大。理論結果證實那些事實上所需要的節點數隨著輸入的大小指數增長的函式族是存在的。
我們可以將深度架構看做一種因子分解。大部分隨機選擇的函式不能被有效地表示，無論是用深的或者淺的架構。但是許多能夠有效地被深度架構表示的卻不能被用淺的架構高效表示。乙個緊的和深度的表示的存在意味著在潛在的可被表示的函式中存在某種結構。如果不存在任何結構，那將不可能很好地泛化。
人們在觀察事物或現象的時候，常常要尋找它與其他事物或現象的不同之處，並根據一定的目的把各個相似的但又不完全相同的事物或現象組成一類。字元識別就是乙個典型的例子。例如數字「4」可以有各種寫法，但都屬於同一類別。更為重要的是，即使對於某種寫法的「4」，以前雖未見過，也能把它分到「4」所屬的這一類別。人腦的這種思維能力就構成了「模式」的概念。在上述例子中，模式和集合的概念是分未弄的，只要認識這個集合中的有限數量的事物或現象，就可以識別屬於這個集合的任意多的事物或現象。為了強調從一些個別的事物或現象推斷出事物或現象的總體，我們把這樣一些個別的事物或現象叫作各個模式。也有的學者認為應該把整個的類別叫作模式，這樣的「模式」是一種抽象化的概念，如「房屋」等都是「模式」，而把具體的物件，如人民大會堂，叫作「房屋」這類模式中的乙個樣本。這種名詞上的不同含義是容易從上下文中弄淸楚的。
模式識別是人類的一項基本智慧型，在日常生活中，人們經常在進行「模式識別」。隨著20世紀40年代計算機的出現以及50年代人工智慧的興起，人們當然也希望能用計算機來代替或擴充套件人類的部分腦力勞動。(計算機)模式識別在20世紀60年代初迅速發展並成為一門新學科。
模式識別是指對表徵事物或現象的各種形式的(數值的、文字的和邏輯關係的)資訊進行處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程，是資訊科學和人工智慧的重要組成部分。
模式識別又常稱作模式分類，從處理問題的性質和解決問題的方法等角度，模式識別分為有監督的分類（supervised
classification）和無監督的分類(unsupervised classification)兩種。二者的主要差別在於，各實驗樣本所屬的類別是否預先已知。一般說來，有監督的分類往往需要提供大量已知類別的樣本，但在實際問題中，這是存在一定困難的，因此研究無監督的分類就變得十分有必要了。
模式還可分成抽象的和具體的兩種形式。前者如意識、思想、議論等，屬於概念識別研究的範疇，是人工智慧的另一研究分支。我們所指的模式識別主要是對語音波形、**波、心電圖、腦電圖、、**、文字、符號、生物感測器等物件的具體模式進行辨識和分類。
機器學習第一次作業
對話式人工智慧平台是指融合語音識別 語義理解 自然語言處理 語音合成等多種解決方案，為開發者提供具備識別 理解及反饋能力的開放式平台的技術。該技術能夠實現機器與人在對話服務場景中的自然互動，未來有望在智慧型可穿戴裝置 智慧型家居 智慧型車載等多個領域得到大規模應用。智慧型腦機互動是指通過在人腦神經與...
機器學習第一次作業
1 自然語言理解 nlu 2 自然語言生成 nlg nlu 是要理解給定文字的含義。本內每個單詞的特性與結構需要被理解。在理解結構上，nlu 要理解自然語言中的以下幾個歧義性 詞法歧義性 詞法歧義性是指乙個單詞有多重含義。如train這個單詞，作為動詞使用時，它是訓練的意思，當作為名詞使用時，它是火...
機器學習第一次作業
經過這乙個月的課程學習，算是對機器學習和模式識別這方面有了一定認識，畢竟以前也只是聽說過，沒有特地的進行了解。課程不知不覺已經過半了，但是相對已經學習的課程來說我掌握的東西並不是很多 學習果然還是在學校效率比較高 這門課程涉及的數學知識很多，對於我這種線性代數知識已經忘的差不多的來說，很多公式推導起...