1. 對深度學習相關神經網路理解深入,如dnn、cnn、rnn、gan等;
2. 有深厚的理論研究背景和資料基礎,熟悉em、mcmc、lr、lda、pca、時間序列等數學方法;
3. 熟悉一種以上的深度學習的開源框架,如caffe、tensorflow、arm ai library、snpe等;
dnn長短期記憶神經元(long short term memory cells)用於克服迴圈神經元中資訊快速流失的問題。
cnn:卷積神經網路(cnn:convolutional neural networks)或深度卷積神經網路(dcnn:deep convolutional neural networks) 跟其它型別的神經網路大有不同。 它們主要用於處理影象資料,但可用於其它形式資料的處理,如語音資料。
池化是一種過濾掉細節的方式:一種常用的池化方式是最大池化,比如用2x2的畫素,然後取四個畫素中值最大的那個傳遞。為了讓卷積神經網路處理語音資料,需要把語音資料切分,一段一段輸入。在實際應用中,通常會在卷積神經網路後面加乙個前饋神經網路,以進一步處理資料,從而對資料進行更高水平的非線性抽象。
rnn:迴圈神經網路(rnn:recurrent neural networks)是具有時間聯結的前饋神經網路:它們有了狀態,通道與通道之間有了時間上的聯絡。 神經元的輸入資訊,不僅包括前一神經細胞層的輸出,還包括它自身在先前通道的狀態。
gan:生成式對抗網路(gan:generative adversarial networks)是一類不同的網路,它們有一對「雙胞胎」:兩個網路協同工作。
gan可由任意兩種網路組成(但通常是ff和cnn),其中乙個用於生成內容,另乙個則用於鑑別生成的內容。
鑑別網路(discriminating network)同時接收訓練資料和生成網路(generative network)生成的資料。鑑別網路的準確率,被用作生成網路誤差的一部分。這就形成了一種競爭:鑑別網路越來越擅長於區分真實的資料和生成資料,而生成網路也越來越善於生成難以**的資料。這種方式非常有效,部分是因為:即便相當複雜的類噪音模式最終都是可**的,但跟輸入資料有著極為相似特徵的生成資料,則很難區分。
訓練gan極具挑戰性,因為你不僅要訓練兩個神經網路(其中的任何乙個都會出現它自己的問題),同時還要平衡兩者的執行機制。如果**或生成相比對方表現得過好,這個gan就不會收斂,因為它會內部發散。
lstm:長短期記憶(lstm:long / short term memory)網路
試圖通過引入門結構與明確定義的記憶單元來解決梯度消失/**的問題。
這更多的是受電路圖設計的啟發,而非生物學上某種和記憶相關機制。每個神經元都有乙個記憶單元和三個門:輸入門、輸出門、遺忘門。 這三個門的功能就是通過禁止或允許資訊流動來保護資訊。
輸入門決定了有多少前一神經細胞層的資訊可留在當前記憶單元,輸出層在另一端決定下一神經細胞層能從當前神經元獲取多少資訊。遺忘門乍看很奇怪,但有時候遺忘部分資訊是很有用的:比如說它在學習一本書,並開始學乙個新的章節,那遺忘前面章節的部分角色就很有必要了。
lstm可用來學習複雜的序列,比如像莎士比亞一樣寫作,或創作全新的**。值得注意的是,每乙個門都對前一神經元的記憶單元賦有乙個權重,因此會需要更多的計算資源。
mcmc由兩個mc組成,即蒙特卡羅方法(monte carlo simulation,簡稱mc)和馬爾科夫鏈(markov chain ,也簡稱mc)。
mcmc取樣.
蒙特卡羅方法是一種隨機模擬的方法
收斂到平穩分布,
基於馬氏鏈做取樣的關鍵問題是如何構造轉移矩陣p,使得平穩分布恰好是我們要的分布p(x)。
lc-logistic regression (邏輯回歸)是一種非線性回歸模型
正則項(範數)的概念已經在博文中說過一次了,這裡不再贅述。只八股一下兩個正則項的特點吧:
l1範數:也稱叫「稀疏規則運算元」(lasso regularization)。為什麼能稀疏呢?關鍵原因在於它能實現特徵的自動選擇。一般來說,訓練集中的某些特徵和輸出 yiyi 之間並沒有多大關係。在訓練時引入這些特徵,當然能獲得更小的訓練誤差,但其泛化能力比較差,即造成過擬合!l1範數的引入就是為了實現特徵自動選擇,它會將沒有資訊的特徵對應的權重置為0。
l2範數:在回歸裡面中又稱嶺回歸」(ridge regression),也有的叫法為「權值衰減」(weight decay)。同樣是為了解決過擬合問題,但與 l1 範數不同的是l2是使得特徵對應的權重盡量的小,接近於0(但不會等於0)。而越小的引數說明模型越簡單,越簡單的模型則越不容易產生過擬合現象。為什麼呢?這裡給出乙個說法:引數越小,表示模型不會過分地學習訓練集的某個特徵,也即更不容易造成過擬合。
l1正則化(左圖)更容易與突出的角相切,可以想象在高緯特徵空間中,會有許多向外突出的角;l1傾向於使某些特徵對應的引數變為0,因此能產生稀疏解。而 l2 使 w 接近0。
CSS3相關知識總結
moz代表firefox瀏覽器私有屬性 ms代表ie瀏覽器私有屬性 webkit代表safari chrome私有屬性 o代表歐朋 opera 核心識別碼 參考文章 布局的傳統解決方案,基於盒狀模型,依賴 display屬性 position屬性 float屬性。它對於那些特殊布局非常不方便,比如,...
sqlite3相關知識點(3)
執行sql 函式原型 int sqlite3 get table sqlite3 pdb,const char sql,char presult,int rowcount,int columncount,char errmsg 函式功能 執行sql 語句,通過一維陣列返回結果 一般用於資料記錄查詢 ...
sqlite3相關知識點
開啟 函式原型 int sqlite3 open const char filename,sqlite3 ppdb 函式功能 開啟乙個資料庫 若該資料庫檔案不存在,則自動建立。開啟或者建立資料庫的命令會被快取,直到這個資料庫真正被呼叫的時候才會被執行。輸入引數 filename,待開啟的資料庫檔名稱...