第一周：面向機器學習的神經網路
三.ann的mnist學習範例
四.機器學習演算法的三大類
機器學習是一門人工智慧的科學，該領域的主要研究物件是人工智慧，特別是如何在經驗學習中改善具體演算法的效能。機器學習相較於傳統程式設計可通過其自動化、快速、精確性和規模的特點為複雜問題提供解決方案。
人工神經元網路是由大量類似於神經元的結構相互聯結，試圖完**腦相同的資訊處理功能，屬於非線性複雜網路系統。但是其與真正大腦的工作方式還是存在很大差別，他只是簡單的模擬真正神經元網路的工作方式，通過數學計算來加強計算機的處理能力。
（1）線性神經元
輸出y的函式是偏置b加上所有線性輸入x乘以權值w的總和。
（2）二進位制閾值神經元
簡單的，如果得到的z值大於閾值，則輸出y為1，否則輸出y為0。
（3）relu啟用神經元
relu結合了前兩種神經元，首先計算的是輸入的線性加權，但輸出的是非線性的加權。
（4）sigmoid神經元
此類神經元為最常用的神經元，它的輸出是實數值，對於總輸入有光滑和約束作用。
當總的輸入為乙個很大的值時，輸出為1，當總輸入為乙個很特別小的負值時，輸出接近於0。
（4）隨機二進位制神經元
這個的實數值是尖峰的概率，它做的是乙個概率決定，輸出的是把概率p轉化生成1的概率，而不是乙個實數值。線性啟用神經元決定了其生成速率，內在隨機性決定了它的生成時間。
首先考慮如何進行視覺化權值的更新，把權值放在輸入和輸出單元的連線上看起來好像很自然，但我們這麼做永遠看不到接下來會發生什麼，我們需要乙個能看到數以千計權值的價值的陳列方式。因此，我們為每乙個輸入單元構造乙個對映。在這個命令裡我們要展示出每個小鄰域的輸入畫素，對應的連線權的強度，每個輸入畫素之間聯絡的優點。因為最開始的權值只是一些小的、隨機的權值，所以我們要做的是給這些網路展示一些資料，然後讓它學習權值，這樣會比初始權值更好。
當我們展示一張影象時，我們需要提高中指向正確分類的權值，但是如果只做上述處理，權值就會一直上公升，導致無論輸入什麼，都會無差別的得到一種結果。所以我們需要做的是縮減那些指向網路自身趨向的分類結果的活躍畫素區域對應的權值，需要做的是正確的事而不是有趨勢要做的事。當訓練了很多例子後可以得到差不多最終權值。
他為每乙個形狀建立乙個小型模板然後根據哪個形狀的模板與油墨重疊部分最多來選出勝者。
手寫數字中的權值變化太複雜，因此不能被簡單的形狀的模板匹配，所以需要建立乙個可允許的數字變化典型，提取特點後注意特點的排序。
監督學習包含兩種形式，在回歸中，目標輸出是乙個實數或是實數的完整向量，目標是盡可能地接近正確的實數。在分類中，目標輸出是乙個類別標籤，最簡單的例子就是在0和1或正負案例中做出選擇。監督學習的執行需要最先選取乙個模型類別（只是映像的一種方法），調整數值引數使這個函式對映很好地擬合輸入資料。通過對已知資料的不斷迭代從而找到最佳引數的過程就是監督學習。
在強化學習中，輸出是乙個實際的動作序列，你必須選定足以觸發獎賞的動作，在選擇每個行為的目標是使預期望的獎賞總和最大化。
無監督學習的乙個主要目的是獲得輸入的內部表徵，這對於隨後的監督學習和增強學習是有幫助的。其他目標是提供輸入的壓縮的低維表示，像影象這樣的高維輸入，一般來說在出現手寫數字的情況下，分布在低維流形或是低維流形的附近或者許多這樣的流形上。另乙個目的是依據特徵學習為輸出，提供經濟的表示。再乙個目的是找到輸入裡的聚類，可以將聚類視為乙個完全稀疏編碼，意思是每乙個聚類都有乙個特徵，我們堅持除了一之外所有的特徵都是零，那唯一的特徵有一的價值，因此聚類只是稀疏特徵的乙個極端示例。
機器學習 神經網路
神經網路中最基本的成分是 神經元 模型，在生物神經網路中，每個神經元與其他神經元相連，當他 興奮 時，就會向相連的神經元傳送化學物質，從而改變這些神經元類的電位 如果某神經元的電位超過乙個 閾值 那麼他就會被啟用。將上述描述當成乙個數學模型 m p神經元模型，神經元接收來自n個神經元傳遞過來的輸入訊...
機器學習 神經網路
序列模型屬於通用模型的一種，因為很常見，所以這裡單獨列出來進行介紹，這種模型各層之間是依次順序的線性關係，在第k層合第k 1層之間可以加上各種元素來構造神經網路這些元素可以通過乙個列表來制定，然後作為引數傳遞給序列模型來生成相應的模型。01 keras model sequential.py fro...
機器學習 神經網路
人工神經網路被用於處理大量輸入以及非線性問題。與回歸方法不同，回歸方法只能處理未知數組成的多項式構成的線性問題，即只能處理簡單的關於未知數多項式的非線性問題。而神經網路利用多層網路這一優勢，能夠處理複雜的非線性問題。theta 的維數為s times s j 1 如上圖所示，分類問題分為兩種 對於這...