linear classification notes:
該方法的組成：乙個是評分函式：原始影象資料到類別分值的對映；
乙個是損失函式：用來量化**分類標籤的得分和真實標籤之間的一致性。
影象分類的任務是從已有的固定分類標籤中選擇乙個並分配一張影象，我們介紹了knn分類器，該分類器的基本思想是通過將測試影象和訓練集帶標籤的影象進行比較，來給測試影象打上分類標籤，knn分類器存在以下不足：
1,分類器必須能夠記住所有的訓練資料並將其儲存起來，以便於未來測試資料用於
卷積神經網路之間層級結構案例：
最左邊進行資料輸入層，對資料做一些處理，比如去均值，把輸入資料各個維度都中心化為0，避免資料過多偏差，影響訓練效果，歸一化是把所有的資料都歸一化的同樣的範圍， pca、白化等。cnn只對訓練集做去均值的一步。
從非嚴格意義上講，sigmoid框起來的部分就可以看做的是乙個濾波器。
在cnn中，濾波器filter對區域性輸入的資料進行卷積計算，每計算完乙個資料視窗的區域性資料後，資料視窗不斷滑動，知道計算完所有的資料。這這個過程中，有那麼幾個引數：
a.深度depth 神經元的個數，決定輸出的depth 的厚度，同時代表濾波器的個數 ；
b.步長strides：決定滑動多少步可以到達邊緣
c.填充zero-padding：在外維邊緣補充若干個圈0，方便從初始位置以步長為單位可以剛好滑動到末尾的位置通俗講就是為了總長度能夠被步長整除。
左邊的資料在變化，每次濾波器都是針對某乙個區域性的資料視窗進行卷積，這就是所謂的cnn中的區域性感知機制。
sigmoid 容易飽和，造成終止梯度傳遞，沒有0中心化。
卷積神經convnet可以分為4層：
1.影象輸入image input：為了後續bp演算法複雜度一般是建議使用的是灰度影象。也可以使用rgb彩色影象，此時輸入的影象是原始影象的rgb三通道、
2.卷積層 特徵提取層特徵對映層 將上一層的輸出影象和本層卷積核加權值加偏置，通過sigmoid函式得到各個層，下取樣為各個s層。
3.光柵化 以此排開
4.全連線多層感知機全連線
c層：特徵提取層，每個神經元與前一層的區域性連線域相連，獲取該部分的特徵。
區域性感知 權值共享 下取樣 提公升了計算深度，減少了連線數量
cnn的物理含義
為了從原始影象中得到的c層，需要把原始影象中的每個畫素都作為神經網路中的乙個神經元，那麼把原始輸入影象一字排開，作為輸入層。
濾波器卷積後在c1上產生了三個特徵對映圖，然後特徵對映圖中每組畫素的再進行求和，加權和加偏置。通過乙個sigmoid 函式產生三個s2層的特徵對映圖。
迴圈神經網路是非常流行的模型，這在nlp的很多的任務中已經展現了。
作為本教程的一部分，將會實現乙個基於rnn的語言模型。語言模型有兩個方面的作用。
第一：基於每個序列在現實世界中出現的可能性對其進行打分，實際上是提供了針對語法和語義正確性的度量。
第二：生成新檔案
rnn的乙個序列和下乙個序列之間是相互有聯絡的。
x 為輸入情況，s是對應t時刻的隱藏狀態。在實際情況下是很複雜的。
與傳統的深度神經網路不同每一層的使用不同的引數的做法不同，rnn在所有的時刻中共享相同的引數。這反應了在每一步中都在執行相同的任務，只是用了不同的輸入，這就極大的減少了需要學習的引數的個數。
上面圖中的每一時刻的都有輸出，在具體的任務中，這可能是不必要的，例如在**的一句話的情感的時候，我們關心的可能是最終的輸出，並不是每個詞之後的情感。相似的，可能並不是每乙個時刻都需要輸入，rnn主要特徵使他的隱藏狀態，可以捕捉一句話中的資訊。
rnn能夠做什麼？
1，語言模型和文字生成
給定乙個詞的序列，我們想**前面的詞確定之後，每個詞出現的概率。語言模型可以度量乙個句子出現的可能性。 這可以組作為機器翻譯的乙個重要的輸入，能夠**下乙個詞帶來的額外的效果我們得到了乙個生成模型。這可以讓我們通過對輸出概率取樣來生成新的文字。根據訓練資料的具體內容，我們可以生成任意的東西。在語言模型中，輸入常常是詞的序列，輸出是**得到的詞的序列。
訓練網路是設定。
機器翻譯與語言模型相似，輸入是源語言中的乙個詞的序列，輸出的是目標語言的乙個詞的序列，乙個關鍵不同點在接受到了完整的輸入才會開始有輸出，因為我們要翻譯得到的句子的第乙個詞語可能需要前面的整個輸入序列的資訊。
rnn的訓練：
訓練rnn和訓練傳統神經網路相似，同樣採用了反向傳播演算法，引數是共享的，每一次的梯度輸出不僅依賴於當前時刻的計算結果，也依賴於之間所有時刻的計算結果。例如，為了計算t =4時刻的梯度，需要反向傳播3步，並把前面所有的梯度加和。這被稱作隨時間的反向傳播bptt。
lstm network最近非常流行，上面也簡單討論過，lstm和rnn在結構上並沒有本質上的不同，只是使用了不同的函式來計算隱藏狀態。lstm中的記憶單元被稱為細胞，你可以把它當做黑盒，把之前的狀態當前的記憶和輸入結合起來，事實證明了這些型別的單元對於捕捉長期依賴十分重要。
rnn的訓練和學習：
之前提到的cnn模型主要用到人類的視覺中樞，但是有乙個劣勢，無論是人類的視覺神經還是聽覺神經，所接收到的都是乙個連續的序列。最後及最後簡化後的情況形式同一般的神經元相同，輸入資訊乘權重加偏置：
rnn種類：
1，sequence-to-sequence
2，sequence-to-vector
3，vector-to-sequence
4，encoder-decoder
這是乙個delay的模型，經過一段時候延遲，即所有的輸入都讀取後，在decoder中獲取輸入並輸出乙個序列。這個模型在機器翻譯中的使用比較廣泛，源語言的輸入放入在encoder，濃縮在狀態資訊中，生成目標語言時，可以生成乙個不長度的目標語言序列。
markdown 是一種輕量級標記語言，它允許人們使用易讀易寫的純文字格式編寫文件，然後轉換成格式豐富的html頁面。 —— [ 維基百科 ]使用簡單的符號標識不同的標題，將某些文字標記為粗體或者斜體，建立乙個鏈結等，詳細語法參考幫助？。
本編輯器支援markdown extra, 擴充套件了很多好用的功能。具體請參考github.
markdown extra**語法：
專案**
computer
$1600
phone
$12pipe$1
可以使用冒號來定義對齊方式：
專案**
數量computer
1600 元
5phone
12 元
12pipe
1 元234
markdown extra定義列表語法：
專案１
專案２定義 a
定義 b
專案３定義 c
定義 d
定義d內容
**塊語法遵循標準markdown**，例如：
@requires_authorization
defsomefunc
(param1='', param2=0):
'''a docstring'''
if param1 > param2: # interesting
print
'greater'
return (param2 - param1 + 1) or
none
class
someclass:
pass
>>> message = '''interpreter
... prompt'''
用[toc]來生成目錄：
離線寫部落格
瀏覽器相容
使用mathjax渲染latex 數學公式，詳見math.stackexchange.com. x
=−b±
b2−4
ac‾‾
‾‾‾‾
‾‾√2
a x=−
b±b2
−4ac
2a
更多latex語法請參考 這兒.
可以渲染序列圖：
或者流程圖：
即使使用者在沒有網路的情況下，也可以通過本編輯器離線寫部落格（直接在曾經使用過的瀏覽器中輸入write.blog.csdn.net/mdeditor即可。markdown編輯器使用瀏覽器離線儲存將內容儲存在本地。
使用者寫部落格的過程中，內容實時儲存在瀏覽器快取中，在使用者關閉瀏覽器或者其它異常情況下，內容不會丟失。使用者再次開啟瀏覽器時，會顯示上次使用者正在編輯的沒有發表的內容。
部落格發表後，本地快取將被刪除。
使用者可以選擇 把正在寫的部落格儲存到伺服器草稿箱，即使換瀏覽器或者清除快取，內容也不會丟失。
注意：雖然瀏覽器儲存大部分時候都比較可靠，但為了您的資料安全，在聯網後，請務必及時發表或者儲存到伺服器草稿箱。ie９以下不支援
ie９，１０，１１存在以下問題
不支援離線功能
ie9不支援檔案匯入匯出
ie10不支援拖拽檔案匯入
這裡是腳注的 內容. ↩
cs231n筆記總結
cs231n的課程以及作業都完成的差不多了，後續的課程更多的涉及到卷積神經網路的各個子方向了，比如語義分割 目標檢測 定位 視覺化 遷移學習 模型壓縮等等。assignment3有涉及到這些中的一部分，但需要深入了解的話還是得看 了。所以在看 前把之前已學的知識，筆記和作業 一起做個整理。部落格裡主...
CS231n課程筆記翻譯
賀完結！cs231n官方筆記授權翻譯總集篇發布 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 下 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分...
CS231n課程筆記翻譯
賀完結！cs231n官方筆記授權翻譯總集篇發布 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 影象分類筆記 下 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分類筆記 上 智慧型單元 知乎專欄 cs231n課程筆記翻譯 線性分...