深度學習是
機器學習
研究中的乙個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋資料，例如影象，聲音和文字。深度學習是
無監督學習
的一種。
深度學習的概念源於
人工神經網路
的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分布式特徵表示。
深度學習的概念由hinton等人於2023年提出。基於深信度網(dbn)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外lecun等人提出的卷積神經網路是第乙個真正多層結構學習演算法，它利用空間相對關係減少引數數目以提高訓練效能。
一、deep learning的前世今生
圖靈在 1950 年的**裡，提出圖靈試驗的設想，即隔牆對話，你將不知道與你談話的，是人還是電腦[1]。
這無疑給計算機，尤其是人工智慧，預設了乙個很高的期望值。但是半個世紀過去了，人工智慧的進展，遠遠沒有達到圖靈試驗的標準。這不僅讓多年翹首以待的人們心灰意冷，認為人工智慧是忽悠，相關領域是「偽科學」。
2008 年6 月，「連線」雜誌主編，chris anderson 發表文章，題目是 「理論的終極，資料的氾濫將讓科學方法過時」，並且文中還引述經典著作 「人工智慧的現代方法」的合著者，時任 google 研究總監的 peter norvig 的言論，說 「一切模型都是錯的。進而言之，拋棄它們，你就會成功」[2]。
言下之意，精巧的演算法是無意義的。面對海量資料，即便只用簡單的演算法，也能得到出色的結果。與其鑽研演算法，不如研究雲計算，處理大資料。
如果這番言論，發生在 2006 年以前，可能我不會強力反駁。但是自 2006 年以來，機器學習領域，取得了突破性的進展。
圖靈試驗，至少不是那麼可望而不可即了。至於技術手段，不僅僅依賴於雲計算對大資料的並行處理能力，而且依賴於演算法。這個演算法就是，deep learning。
借助於 deep learning 演算法，人類終於找到了如何處理 「抽象概念」這個亙古難題的方法。
於是學界忙著延攬相關領域的大師。alex smola 加盟 cmu，就是這個背景下的插曲。懸念是 geoffrey hinton 和 yoshua bengio 這兩位牛人，最後會加盟哪所大學。
geoffrey hinton 曾經轉戰 cambridge、cmu，目前任教university of toronto。相信挖他的名校一定不少。
yoshua bengio 經歷比較簡單，mcgill university 獲得博士後，去 mit 追隨 mike jordan 做博士後。目前任教 university of montreal。
deep learning 引爆的這場革命，不僅學術意義巨大，而且離錢很近，實在太近了。如果把相關技術難題比喻成一座山，那麼翻過這座山，山後就是特大露天金礦。技術難題解決以後，剩下的事情，就是動用資本和商業的強力手段，跑馬圈地了。
於是各大公司重兵集結，虎視眈眈。google 兵分兩路，左路以 jeff dean 和 andrew ng 為首，重點突破 deep learning 等等演算法和應用 [3]。
jeff dean 在 google 諸位 fellows 中，名列榜首，gfs 就是他的傑作。andrew ng 本科時，就讀 cmu，後來去 mit 追隨 mike jordan。mike jordan 在 mit 人緣不好，後來憤然出走 uc berkeley。andrew ng 毫不猶豫追隨導師，也去了 berkeley。拿到博士後，任教 stanford，是 stanford 新生代教授中的佼佼者，同時兼職 google。
google 右路軍由 amit singhal 領軍，目標是構建 knowledge graph 基礎設施。
1996 年 amit singhal 從 cornell university 拿到博士學位後，去 bell lab 工作，2000 年加盟 google。據說他去 google 面試時，對 google 創始人 sergey brian 說，「your engine is excellent, but let me rewirte it!」[4]。
換了別人，說不定乙個大巴掌就扇過去了。但是 sergey brian 大人大量，不僅不怪罪小夥子的輕狂，反而真的讓他從事新一代排名系統的研發。amit singhal 目前任職 google 高階副總裁，掌管 google 最核心的業務，搜尋引擎。
google 把王牌中之王牌，押寶在 deep learning 和 knowledge graph 上，目的是更快更大地奪取大資料革命的勝利果實。
reference
[1] turing test.
[2] the end of theory: the data deluge makes the scientific method obsolete
[3] introduction to deep learning.
[4] interview with amit singhal, google fellow.
機器學習前沿演算法介紹
機器學習演算法回顧 機器學習的本質就是尋找乙個函式，它根據某種統計意義來 現實中已發生或即將發生的現象，這個函式可以相當複雜，它也許具有上千萬個引數，以至於根本沒有人能夠把這個函式的數學表示式給手寫出來，但幸運的是，機器可以。給機器指定明確的任務 當然機器是很笨的，你要給機器指派任務，首先要做的就是...
機械人前沿 下肢外骨骼機械人
外骨骼機械人技術是融合感測 控制 資訊 融合 移動計算,為作為操作者的人提供一種可穿戴的機械機構的綜合技術。重複運動的物理系統進行 訓練，可以輔助或者恢復患者腿部的行走移動。助力外骨骼通過這種方式來提高下肢癱瘓或者下肢運動障礙患者的生活質量的。目前有許多針對腿部移動的可穿戴機械人或者說助力外骨骼機械...
前沿強化學習問題
近年來，深度強化學習 drl 受到了大家的廣泛關注，並且在機械人控制 自動駕駛 推薦系統領域等都得到了應用，但drl目前的發展依然受限，本文將從以下幾方面進行分析和解釋。一 樣本效率sample efficiency 學習所需樣本太多，目前常用的方法有 off policy experience r...