結局變數為乙個二元離散分類變數的時候，是乙個二元分類問題。比如適用於本專題的分類，判定乙個是否含有貓，則這個結局變數為有/沒有。而反映在資料上是解析度上的紅綠藍三通道的畫素值大小，如果解析度為64×64則共有的變數為64×64×3。
在模型識別和機器學習中，代表乙個樣本（object）常用乙個特徵向量來表示，為了將以上的例子生成乙個特徵向量；而這特徵向量即為64×64×3=12288維。
當擁有很m個樣本（object）,做訓練的時候則要把這個訓練集通過矩陣進行表示出來。值得注意的是在神經網路的訓練過程中，常常應該把矩陣表示為以下中左邊的形式，而不能表示為右邊的形式。即訓練集中每一列作為乙個object,共有m列；nx是自變數有這麼多維的資訊，本例中是12288維。這樣做的原因是利於降低神經網路訓練演算法的複雜性。
logistic回歸是常用的進行二元分類（0，1）的模型。logistic回歸的目的是獲得結局為1的概率值，並使得**值和真實值的誤差最小。轉化為數學語言為如下：
我們常規使用的方法是做乙個普通線性回歸方程設定w為自變數的參賽，b為截距項即：
但存在的問題在於這個普通線性回歸方程的值範圍（-無窮，+無窮）並不是我們想需要的結果，也無法衡量小於0，大於1的值代表什麼含義。此時就需要引入乙個simoid函式。這個函式把（-無窮，+無窮）對映到了（0，1）之間；從而很好地簡歷方程中引數到概率之間的關係。當線性**值趨向於正無窮大的時候，simoid函式值趨向於1。sigmoid function 如下圖：
那問題在於如何求得引數w和b呢，常規的做法是使得誤差最小，建立loss function。常規想到的loss function如下：
這個loss function 帶來的問題是非凸函式，無法找到全域性最優值；則應該換種思路來建立loss function 使得其最好是凸函式，具有容易找到全域性最優值，所以巧妙得建立了如下loss function。這個function 採用分段函式的時候，使得概率值最大後最小，而且是凸函式。（問題在於如何判斷乙個函式為凸函式還是非凸函式？）
loss function 常備成為損失函式長指的是乙個樣本的損失函式值作為誤差的度量，但對於乙個訓練集而言，需要使得整個訓練集誤差更小，需要對各個樣本的損失函式值最乙個加和平均。這個函式為cost function，暫且翻譯為成本函式。
擁有了cost function，就有了成功獲得w,b引數值的第一把鑰匙，但是如何求得這些值，還需要梯度下降演算法這個「咒語」。
我們先來看只需要涉及到單個引數的，使得cost function 最小的時候，應該怎麼求出那個引數值。答案就是隨機設定引數值的初始值，然後按學習率大小，以導數（偏導數）的方向和大小進行迭代，直到cost function 收斂。如下圖，當w初始值在最優值的右邊的時候，導數為正，w減少；當其在左邊的時候，導數為負，w增大；不斷逼近最優值。關於學習率的設定，得看具體精度如何跟迭代計算時間的要求。
另外，在數學符號的書寫的時候，導數和偏導數略有不同；以下左邊為導數的形式，右邊為偏導數的形式。
導數為函式的斜率，從直線到曲線的導數，從簡單直白的原理出發。
前向傳播是求cost function的過程，後向傳播是求導數的過程。以乙個簡單的例子作為講解：
設以下為某函式的cost funtion:
轉成神經元網路，並假設a, b, c為某值（因為梯度下降的時候，任意設定乙個初始值）；具體前向後向計算圖如下：
則以cost funtion 分別對偏回歸係數進行求導，過程善用鏈式法則，具體如下：
那以logistic regression為例，如何進行前向後向傳播過程。先以單個樣本，只有兩個自變數時候的loss function為例：
其基本資訊如下:
需要求的是以loss function 分別對各個自變數進行偏導數求解，策略是按照如下順序：
得到導數後，以一定的學習速率alpha，則進行以下迭代:
當考慮有m個樣本的時候，應該執行的cost funtion; 具體cost funtion值、偏導數等需要加和後求平均；梯度下降的原理採用初始隨機回歸係數，每一次迭代回歸係數都會改變，然後cost function的值會有不同。具體如下：
吳恩達deep learning筆記 week1
我們從下圖可以得到一些答案 如圖，橫軸是資料量的大小，軸承是模型的表現 我們可以看到，傳統的機器學習模型在資料量較小時，隨著資料量的增加，效能會快速得到提公升，但是當資料量超過一定量時，再提公升幾乎對效果不再有任何提公升。而神經網路模型，隨著資料量的繼續加大，當傳統機器學習模型失效時，它的效果仍然在...
吳恩達deeplearning資源彙總帖
學習機器學習，離不開好的資源的支援，吳恩達的相關資源堪稱經典。就算有了相關資源，如果沒有人及時解惑以及答疑，學起來也會異常的吃力。學習過後，如果不用筆記及時輸出驗證，那學習效果也會打折。做作業的時候直接看答案會沒有效果，但一直卡在某個細節也不利於學習。coursera 第一課 coursera 第二...
DeepLearning 吳恩達深度學習第三課筆記
orthogonalization 正交化 乙個調整只帶來乙個方面的影響 評價標準 1 optimizing n 1 satisficing training set dev set test set dev開發集和test測試集來自同樣的分布 樣本劃分 小樣本100 10000 70 30 或者 ...