2021 鉅獻 —— 系列文章《ai 入行那些事兒》，為您講述：
幾度沉浮的神經網路
神經網路模型的發展幾經沉浮，早在20世紀40年代，它就被提出來了，到80年底曾經達到過一次巔峰，但很快又歸於平靜，直到近年才又大放異彩。
早期的神經網路結構過於簡單，層數、神經元都太少了，因此得出的模型往往質量不高，如果增加層數和神經元，把結構做得很複雜，又會因為資料和硬體運算力不足導致無法執行。
幾十年來，計算機硬體的運算能力、訓練資料和演算法的欠缺一直是困擾和制約神經網路發展的重要原因。
直到2023年，加拿大多倫多大學的辛頓（hinton）教授發表了一篇關於深度神經網路的**，把當時硬體的發展和神經網路結合起來，將gpu應用到深度學習的訓練中。
這一次運算力的問題終於被解決了，神經網路在理論研究和硬體裝置兩個必要條件都具備了。同一時期大資料技術的發展又為訓練深層神經網路提供了原材料。
神經網路又一次被推上了高潮，深度神經網路成了學術界和工業界共同的青睞，深度學習領域也隨之出現了。
深度學習 vs 機器學習
機器學習和深度學習最主要的區別是特徵提取不同。機器學習的特徵提取主要依靠人工，深度學習則可以全部交給神經網路去完成，操作時只需要把乙個事物的所有特徵全部匯入就可以了。
在訓練足夠充分的前提下，深度學習模型的自適應性也比機器學習模型更好。當然對於資源和運算能力也會有相應的要求。它所需要的資料量跟機器學習完全不在乙個量級，訓練乙個機器學習模型可能只需要幾千個樣本，訓練深度學習模型至少需要幾萬個樣本。
深度學習對資料的需求量這麼大，它對計算能力的需求也相應地遠遠超過了機器學習模型，乙個機器學習模型也許對硬體要求不高，訓練的時間幾分鐘或幾小時就夠了，而深度學習模型必須使用帶有gpu的機器才可以訓練，訓練的時間動輒十幾、幾十個小時，幾周幾個月都有可能。
深度學習的應用
說到深度神經網路，大家想必都聽說過頗負盛名的alphago。它是2023年上線的智慧型機械人，當年挑戰了南韓的九段棋手李世石，並以4:1的戰績大獲全勝。
其實，像alphago這樣和人類對弈的程式出現得很早。20世紀90年底，ibm公司推出了乙個西洋棋對弈系統——「深藍」，這個系統挑戰了當時西洋棋世界排名第一的俄羅斯棋手卡斯帕羅夫，也取得了勝利。
在當時，**和學術界的一些人都認為，電腦程式雖然能在西洋棋上擊敗人類，卻不可能在圍棋上擊敗人類。因為在那場比賽中，「深藍」採取了窮舉法，把西洋棋盤上六十四個格仔裡所有可能出現的排列全部列舉了一遍，然後再計算每一種排列取勝的概率，這才戰勝了人類。
但圍棋的棋盤上有361個點，如果全部列舉，最終得到的排列情況將會是乙個天文數字，可能比整個宇宙中原子的數量還要多，這是根本不可能做到的。
alphago挑戰了這一觀點，它並沒有去窮盡所有可能，只是學習了一百多萬盤人類對弈的棋局，然後利用深度神經網路從中提取人類對弈的各種模式，獲取有效步驟，忽略無效步驟，這就是它的神奇之處。
alphago雖然神奇，卻離我們很遠，我們很難有機會接觸到它。離我們最近的乙個深度學習應用是智慧型音箱。
現在智慧型音箱的種類非常多，不管是哪種，都可以實現通過語音控制執行各種操作，這涉及到語音識別功能。我們還可以和智慧型音箱進行對話，這是聊天機械人功能，包括了語音識別和語音合成。
這些功能是利用機器學習或深度學習實現的，語音是目前深度學習落地最充分、實戰性最強的乙個領域。
另乙個深度學習的應用領域是自動駕駛，包括特斯拉在內的許多公司都進行了這方面的研究。
自動駕駛非常複雜，是一系列綜合技術。研發者除具備汽車工程方面的相關技術外，還應掌握感知技術和駕駛演算法。現在一般採用兩種方法進行感知，一種是利用影象識別，通過對採集來的影象進行分析，另一種是通過雷射雷達進行感知。
利用駕駛演算法對感知結果進行計算並決策，判斷當前汽車應該進行什麼樣的操作，到底是加速還是減速，左拐還是右拐，起步還是停車。這種演算法相當複雜，也是當前熱門的深度學習研究方向之一。
目前，自動駕駛技術還很不成熟，很多公司在自動駕駛測試過程中都出現過交通事故。自動駕駛過程中的交通事故認定也很複雜，學術界和法律界也一直在爭論事故的責任人到底是人還是機器學習，所以這種技術離真正實現還有很長的路要走。
現階段，從工業實踐的角度而言，深度學習主要應用於語音處理、影象處理、自然語言處理和知識圖譜等領域。
"ai 入行那些事兒"系列
ai 入行那些事兒（1）人工智慧簡史
ai 入行那些事兒（2）人工智慧的應用和技術
ai 入行那些事兒（3）機器是如何學習的？
ai 入行那些事兒（4）最簡單的機器學習模型：線性回歸
ai 入行那些事兒（6）深度學習之神經網路
深度神經網路
關於卷積神經網路cnn，網路和文獻中有非常多的資料，我在工作 研究中也用了好一段時間各種常見的model了，就想著簡單整理一下，以備查閱之需。如果讀者是初接觸cnn，建議可以先看一看 deep learning 深度學習 學習筆記整理系列 中關於cnn的介紹 1 是介紹我們常說的lenet為例，相信...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
如何除錯神經網路（深度神經網路）？
神經網路的除錯基本上難於絕大多數的程式，因為大部分的神經網路的錯誤不會以型別錯誤或執行時錯誤顯現，他們只是使得網路難以收斂。如果你是乙個新人，這可能會讓你非常沮喪。乙個有經驗的網路訓練者可以系統的克服這些困難，儘管存在著大量似是而非的錯誤資訊，比如 你的網路訓練的不太好。對缺少經驗的人來說，這個資訊...