關於梯度下降演算法的優化與：
會有三種方法優化梯度下降演算法：
1. 共軛梯度下降法 (conjugate)
2. 變尺度法 (bfgs)
3. 限制變尺度法 (l - bfgs)
這些方法的好處是：
1. 不用選擇學習速率
2. 收斂的速度快，執行效率高
但是她們的缺點在於：實現她們的方法太複雜，所以我們就可以使用語言的內建庫函式去實現這些演算法。我們需要做的就是把代價函式寫出來，然後寫乙個給代價函式求導的**，然後交給 ide 去執行這些東西就可以了，內部實現 呵呵呵。
對於多類分類演算法 ：
我們使用一對多的演算法 ：
就是將每乙個x對應的**這個值為真 （1） 的概率，然後對於每乙個要**的特徵值，我們就可以將所有的**值帶入，然後取乙個最大概率，將最大概率對應的那個**值輸出就是多類分類的做法。
機器學習學習筆記
2.機器學習書籍 機器學習tom,這個是老經典，就是翻譯欠佳 prml，這個書正版的超貴，但是比較新且系統，可以通過其他途徑搞個副本。3.自己動手編碼實現2 3種經典演算法，比如svm，lr，bpnn等。4.了解spark上目前支援的機器學習方法的用途和用法，這個在日常工作中會用到。知道的多一點，方...
機器學習 學習筆記
監督學習 我們的學習演算法使用的資料是給出正確答案的資料，然後我們執行學習演算法，出更多的正確答案。理解為像深度需學習類似，利用訓練樣本訓練處學習模型，然後用測試樣本對學習到的模型進行檢測，輸出 結果。無監督學習 可以理解為對於學習演算法所使用的資料集並沒有給出正確答案，學習演算法就是要對這資料集進...
機器學習筆記
梯度下降 值越大，函式變化越快。梯度下降 gradient descent 小結 啟用函式 relu函式是乙個單調遞增函式，用來解決線形問題。relu rectified linear units 啟用函式 池化和全連線 tensorflow 1.0 學習 池化層 pooling 和全連線層 den...