啟用函式輸出值的範圍：
常見的啟用函式：優點：輸出對映在(0,1)之間，單調連續，輸出範圍有限，優化穩定，可用作輸出層；缺點：求導容易。
易造成梯度消失；輸出非0均值，收斂慢；
冪運算複雜，訓練時間長。
優點：比sigmoid函式收斂速度更快。缺點：相比sigmoid函式，其輸出以0為中心。
易造成梯度消失；冪運算複雜，訓練時間長。
優點：解決了梯度消失問題(在正區間)；缺點：只需判斷輸入是否大於0，計算速度快；
收斂速度遠快於sigmoid和tanh，因為sigmoid和tanh涉及很多expensive的操作； 提供了神經網路的稀疏表達能力。
輸出非0均值，收斂慢；dead relu問題：某些神經元可能永遠不會被啟用，導致相應的引數永遠不能被更新。
優點：
理論上來講，leaky relu有relu的所有優點，外加不會有dead relu問題，但是在實際操作當 中，並沒有完全證明leaky relu總是好於relu
自定義: 根據具體任務和目的，可設計不同的損失函式。交叉熵:表示兩個概率分布之間的距離，交叉熵越大，兩個概率分布越遠，交叉熵越小，兩個概率分布越近
正則化緩解過擬合：
正則化就是在損失函式中引入模型複雜度指標,給每個引數w加權值，抑制訓練資料的雜訊（一般不正則化b）大三寒假學習進度（十八）
今天主要學習了sparksql的基礎概念，然後學習了一下機器學習中的聚類。聚類，就是將一組資料中集中相似的樣本進行分類。屬於機器學習中的無監督學習方法 沒有目標值y 今天主要學習了一下k means演算法。k means演算法是聚類中乙個十分常見的演算法。最後，通過python自己實現了乙個k me...
大三寒假學習進度（十七）
今天主要學習了機器學習十講的第四講，然後把sparkcore中的幾種常用運算元都學習完畢，用wordcount做了乙個小總結。今天的學習中，首先系統的分析了模型誤差出現的原因 用我自己理解的話說，模型空間限制了模型的表達能力，使得模型與真實資料之間存在乙個客觀的誤差，叫做逼近誤差。在了解了誤差的存在...
大三寒假學習進度（十四）
今天主要學習了資料酷客的機器學習十講的第一講和spark裡的轉移運算元 首先是這樣的乙個需求 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12 1516609143869 2 8 92 9 15166091...