計算機要儲存一張，實際需要儲存三個矩陣。分別對應的是紅綠藍三個顏色通道。
在二分分類問題中，目標是訓練出乙個分類器。它以中的特徵向量x作為輸入，**輸出結果標籤y是1（是乙個貓）還是0（不是乙個貓）
最後，為了方便表示，我們將x和y都寫成矩陣形式，在python中
x.shape()這是乙個學習演算法，在監督學習中處理二分問題。
如圖所示
對於乙個logistic回歸而言，通常學習的就是乙個
$$ y = w^tx+b $$
的過程，實際上，對於一維而言。我們可以理解成是y=ax+b的過程。然而這個數算出來可能很大，也可能很小。而我們希望算出來的是乙個介於0到1之間的概率，因此我們要用sigma函式處理一下$\sigma$
為了訓練logistic函式的w和b需要定義乙個成本函式。下面講解一下利用logistic來訓練成本函式。
最後，loss function是在單個訓練樣本中定義的，它衡量了在單個訓練樣本上的表現。下面定義的成本函式（cost function），是在總體樣本中的表現。
這裡介紹一下用梯度下降法來訓練w和b
成本函式衡量了w和b在訓練集上的效果，要學習得到合適的w和b，自然的就會想到成本函式j盡量小，由此來確定w和b。
我們使用梯度下降的方法，來期望得到全域性最優解。這張三維圖可以直觀的幫助我們理解梯度下降法，我們假設w和b都是一維的。這裡的j(w,b)實際上表示的就是這個像碗一樣圖形的高度。我們用梯度下降法來找到這個碗底，實際上就是找到這個全域性最優解。
我們進一步直觀的來理解梯度下降法
如圖所示，我們忽略了b，只是從j和w的角度來考慮，實際上梯度下降的過程就是不斷迭代
$$ w=w-\alpha\frac $$
b也是同樣的道理，如果我們從三個變數角度出發，所不同的是求的是偏導數而不是導數而已。
2 1 優化神經網路（上）
3 其他的一些解決過擬合的方法 3.1 data augmentation 資料增加 3.2 early stopping 4 加快訓練速度的方法 4.1 early stopping 4.2 歸一化輸入 5 梯度消失和梯度 及其解決 6 梯度檢驗 都遍歷神經網路的每一層，並設定消除神將網路中節點的...
神經網路基礎
上面是前14個筆記的乙個示意圖，簡單了點，但是內容架構應該是有的，先容我再道一道，梳理下 首先整體的第一周的課程是神經 網路 對，通向神經網路的基礎的網路，其中講解了內容模組包括 二分類問題簡單來說就是1和0的問題，也就是著名的cat 和 noncat問題，這個處理是靠輸入，然後計算機整合處理矩陣輸...
神經網路基礎
3.梯度下降 4.反向傳播 由線性分類 看基礎概念 邏輯回歸 線性回歸 只有一套引數，行為 是一套引數對某樣本的 值進行分類，線性分類 是由n套引數 結果有n個種類 行為 是分別對某樣本給出不同類別下的得分 使用softmax分類器後是概率 基礎損失函式 從某樣本在各類的的得分情況看損失 當正確的種...