想要了解智慧型音箱背後的基礎技術框架,其實,既是是應用類應用工程師,也需要對神經網路,以及深度學習模型,有一些基本的認識,個人認為這樣會更加方便產品設計,以及相應的方案評估,因此,我們或許要大致了解感知機,sigmoid函式的相關概念。
人類的視覺系統,是世界上最有趣的奇蹟之一,當有人給了我們一張手寫卡片,大家可以很輕易地認出上面的字跡,這種輕易性讓我們覺得機器想要做到這一點也是很容易的,但是實際上,機器需要更多的步驟實現。接下來我們將從深度學習模型,perception感知機,以及sigmoid函式的角度,用文字識別這乙個小例子,來做關於深度學習的梳理。
首先先從一些基礎概念開始。
機器學習(machine learning)人工智慧發展早期,利用一系列計算機演算法分析資料,建立模型,解決問題。近年來最有效的學習方法和工具:深度學習(deep learning)。我們以達到實用水平的語音識別技術為範例,如下圖:
根據darpa(國防部高階研究計畫署)資助的多次語音評測,語音識別詞錯誤率已經是評估進步的主要指標
之前我們有專門提過,nlp(neuro-linguistic programming)和nlp(natural language processing)經常被弄混,這次可能簡單梳理一下神經網路相關的概念。當前最具代表的深度學習演算法模型如下:
deep neural network深度神經網路
recurrent neural network迴圈神經網路
convolutional neural network卷積神經網路
可能,乙個小概念的引入更加方便我們了解這個概念。我們知道,在人類聰明的小腦袋瓜裡,大腦半球裡面,位於大腦枕葉(occipital lobe)的初級視覺皮層(primary visual cortex)(哈哈做硬體的小夥伴是不是會跳戲的想到armv7)部位,我們又叫它v1,含有1.4億個神經元,他們之間有數萬億的聯絡。然而,人類的視覺控制區域不僅僅只有v1區域,還有v2,v3,v4,v5,逐漸公升級做複雜的影象處理。隨著人類億萬年的進化,以及逐漸加深的對世界的理解,我們的大腦變成了乙個超級計算機。於是,識別手寫數字,對我們來講並非難事。於是,在不知不覺中,我們的影象識別,我們的視覺能力變得尤為精湛。因此,我們並不能清楚的感知到,每當我們認出了一串手寫數字,我們的大腦做了多麼複雜的工作。
但是,一旦我們嘗試用電腦程式寫出乙個文字識別軟體,就會發現這類問題的難度所在。貌似簡單的問題變得極其複雜,比如,「9」這個數字,上面是乙個圈,下面有乙個小尾巴,這件事很難用演算法表述。如果我們試圖用coding來描述此類規則,你會在一大堆特例,中止申請中迷失方向。
神經網路嘗試通過另外一種方式解決問題,通過獲取一大堆的手寫數字作為樣本資料,用作訓練案例。然後建立乙個可以通過數字樣本訓練的系統,換句話說,神經網路是用這些樣本,做出自動推斷手寫數字的識別規則。隨著樣本資料的不斷增加,系統會對手寫數字規則有更深刻的理解,以提公升系統的精準度。
為了開始接觸神經網路,我們要介紹一種人工神經元,稱之為perceptron,感知機。在2023年至2023年,科學家frank rosenblatt發明了感知機,並激發了warren mcculloch以及walter pitts的研究成果。在當下,其他類的人工神經元或許更加流行,目前主要的模型,或許是sigmoid neurons(跟著我用東北話唸席各馬),為了後續更好的了解席各馬函式,我們需要先了解一下感知機。
其實在之前,我們有稍微提過感知機的概念,其實是通過幾個二進位制輸入,給到乙個二進位制輸出。
rosenblatt介紹了一種簡單的規則,用於計算輸出——輸出0或者1,是根據sum ∑jwjxj,
同時引入了weight(權重)這個概念,權重的數值代表了不同的輸入值對結果影響力的大小,而sum ∑jwjxj與threshold value(閾值)大小的對比則決定了輸出結果。閾值屬於神經網路的引數之一,,如果用代數形式表示,則如下:
接下來,進乙個我最喜歡的例子用來說明感知機。
舉例:你隔壁城市即將舉辦一場紅酒節,你喜歡紅酒,接下來將要決定是否要去參加紅酒節。有三個因素決定你是否會去紅酒節:
1)當天天氣如何?
2)你的男朋友願意陪你一起去嗎?
3)你自己沒車,紅酒節的交通是否方便?
接下來希望可以逐漸從感知機過渡到席各馬模型,附贈更高階的神經網路,數字訊號處理的小夥伴們,還記得被卷積支配的恐懼嗎?
deep neural network深度神經網路
recurrent neural network迴圈神經網路
convolutional neural network卷積神經網路
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習,聯想起之前所學,感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律,e mc 描述了恆星發光的奧秘,v h d哈勃定律描述了宇宙膨脹的奧秘,自然界的大部分現象和規律都可以用數學函式來描述,也就是可以求得乙個函式。神經網路 簡單又...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...