大資料學習筆記之四十三 深度學習的基本方法

2021-07-27 07:32:23 字數 746 閱讀 5271

1)自動編碼器

1.1 內涵 

是乙個逐層的貪心演算法,在每一次迭代中訓練一層網路,然後使用乙個類似於後向傳播的演算法對深度網路進行調優

1.2 思想

將深度網路看成一連串的自動編碼器,包括兩個階段:

1,第一階段是編碼階段,編碼階段對應輸入層到隱藏層的對映;

2,第二階段是解碼階段,對應的是隱藏層到輸出層的對映

1.3 學習過程

1,用隱藏層進行編碼,再將編碼結果作為輸入傳遞給輸出層進行解碼,解碼後的結果應該與原始輸入相似但不相同

2,將結果與原始輸入的誤差最小化得到最優的編碼方案

3,把中間層引數提取出來就是乙個最優編碼方法

1.4 前向訓練階段

1,首先訓練第一層自動編碼器

2,然後將第一層自動編碼器的解碼部分拿掉,直接將第一層的編碼結果作為輸入,利用這個輸入訓練第二層編碼器

3,最後根據需要將第二層的解碼部分換成相應的分類函式即可實現乙個簡單的分類器

1.5 後向調優階段

1,從輸出層n開始,計算引數

2,對於n-1、n-2、.....2層,計算引數

3,計算目標的偏微分

4,使用偏微分對各引數進行更新

5,完成更新後,即完成一次優化迭代

2)稀疏編碼

無監督學習方法,用來尋找一組超完備基向量以更高效地表示樣本資料

C Primer Plus學習 四十三 結構變數

結構宣告 structuredeclaration 是描述結構如何組合的主要方法。宣告就像下面這樣 struct book 詞語 結構 structure 有兩個意思。個意思是 結構設計 這個我們剛剛已經討論過了。結構 設計告訴編譯器如何表 示資料,但是它沒有讓計算機為資料分配空間。下 步是建立乙個...

C 回顧學習筆記四十 三層架構

1 三層框架是什麼?按照書籍和部落格文章裡千篇一律的解釋就是 ui層 bll層 dal層。這樣的解釋通常無法讓人一時半會理解含義,總而言之在這裡先大概說明一下三層架構。正如其他文章提到的一樣,三層架構就是 表示層 與使用者直接進行互動 業務邏輯層 在表示層和資料訪問層中間聯絡兩者的重要角色 資料訪問...

微軟企業庫5 0學習筆記(四十三)資料驗證模組

概況 任何接受使用者或者是其他系統輸入的應用,一定要確保資訊是合法的,符合特定的規則。例如 在處理乙個訂單的時候,需要檢查客戶的 號碼一定要是數字。另外,如果驗證失敗,需要返回表明錯誤的資訊。企業庫的驗證模組允許開發者實現結構化的,易維護的驗證方案。另外,驗證模組允許在下面的技術中使用 企業庫的驗證...