目錄
1.簡介
2.原理
2.1.感知機模型
2.2.學習策略——損失函式
2.3.演算法步驟
2.4.優缺點
3.常用的優化演算法
1.批量梯度下降（bgd）
2.隨機梯度下降（sgd）
3.隨機批量梯度下降★
感知機（perceptron ），是frank rosenblatt在2023年就職於cornell航空實驗室時所發明的一種人工神經網路，被視為一種最簡單形式的前饋式人工神經網路，是一種二元線性分類器。
感知器是生物神經細胞的簡單抽象，如下圖1示神經細胞結構大致可分為：樹突、軸突，突觸及細胞體。
圖1神經細胞的狀態取決於從其它的神經細胞收到的輸入訊號量，及突觸的強度。當訊號量總和超過了某個閾值時，細胞體就會激動，產生電脈衝。電脈衝沿著軸突並通過突觸傳遞到其它神經元。為了模擬神經細胞行為，與之對應的感知機基礎概念被提出，如圖2權量（突觸）、偏置（閾值）及啟用函式（細胞體），乙個由輸入空間x到輸出空間f(x)的函式，w(w1,w2,...,wn)就是權值，表示各個輸入對於輸出的重要程度。
圖2感知機模型是乙個線性分類器，它的目標是通過訓練資料將資料集進行線性二分類，也就是在資料集線性可分的情況下，感知機的目標就是通過已知資料訓練出乙個超平面，類似於乙個y=kx+b的線性函式如圖3所示，這個超平面可以將兩類樣本點完全
圖3正確分類，找到這個超平面其實就是確定感知機模型引數w、b。
感知機模型就是：f(x)=sign(wx+b)
w為權值，b為偏置（或閾值）（用來調整整體結果和閾值之間的關係），sign為符號函式：
感知機模型的原理就是每乙個引數值就對應乙個目標模型，先初始化引數，然後根據已知資料判斷這個模型是否符合我們的期望，如果不符合，就要根據感知機的學習策略來更新引數，以此來得到新模型，再判斷是否符合，以此類堆不斷迴圈直到得到符合期望的模型。
要確定感知機的學習策略，其實就是定義乙個損失函式，來衡量目標模型的優劣，損失函式極小化的過程就是目標模型優化的過程，因此求解目標模型就轉化成了求解損失函式的最小值。
損失函式：l(w,b)=-∑ yi(w*xi+b)
為第i組的輸入和輸出，(w*xi+b)是根據當前模型對x做的**值，yi是對應於xi的真實值，當乙個樣本分類正確時（即閾值b為0，**值和真實值都大於0或小於0），它的輸出是負值；分類錯誤時，輸出值是正值。
先初始化一組引數，即初始化乙個超平面，然後通過梯度下降法不斷地優化目標函式，也就是對損失函式l(w,b)=-∑ yi(w*xi+b)分別對w、b分別求偏導，以求出損失函式最小值：
隨機選取乙個誤分類點(xi,yi)，對w和b進行更新：
η 為學習率，η越大，需要更新的次數越少，這樣不斷迭代可以使得損失函式l(w,b)不斷減小，直到為0。
輸入：訓練資料t=，學習率η
輸出：w，b，感知機模型f(x)=sign(wx+b)
初始化引數w0，b0
依次選取訓練資料(xi,yi)
如果yi(w*xi+b)<=0，即分類錯誤，使用隨機梯度下降法更新w和b
轉到第2步，迴圈直到訓練資料的所有樣本點全部被分類正確
（1）優點：系統結構簡單，模型易於訓練，對於二分類問題效果顯著，演算法高效。
（2）缺點：不能解決線性不可分問題；面向二分類任務，對於對分類的任務只能簡單地轉換為多個二分類問題來處理。
批量梯度下降法是指在每次迭代時使用所有樣本來進行梯度更新。
隨機梯度下降是指每次迭代時使用乙個樣本來進行梯度更新，只通過乙個隨機選取的資料(xi,yi) 來獲取「梯度」來對w 進行更新。
又叫小批量梯度下降（mbgd），是批量梯度下降和隨機梯度下降的乙個折中方法，每次迭代使用batch_size個樣本來對引數進行更新。每次使用乙個batch可以大大減小收斂所需要的迭代次數，同時可以使收斂到的結果更加接近梯度下降結果。
人工智慧 A演算法
在狀態空間搜尋中，如果每一步都利用估價函式f n g n h n 對open表中的結點進行排序，則稱a演算法。它是一種為啟發式搜尋演算法。演算法型別 把初始結點s0放入open表中，f s0 g s0 h s0 如果open表為空，則問題無解 失敗退出 把open表的第乙個結點取出放入closed表...
人工智慧 2 智慧型體
理性智慧型體 任務環境 智慧型體的結構 智慧型體的類別 亞符號ai 反邏輯 聯結主義ai 機器智慧型體 機械人 軟體智慧型體 軟體機械人 抽象智慧型體 各種定義 正確的行為 理性的動作 理性的 探索 學習 自主 理性的動作，對給定的感知序列，能使期待的效能指標最大化 理性的概念 example pe...
人工智慧 支援向量機
計算機存在和誕生的本質是區域性模擬和取代人的智慧型,電腦科學學科的核心領域是人工智慧,人工智慧的核心知識是優化理論.工業化革命最大的貢獻是利用機械取代和拓展了人類的體能,資訊化革命的最大的貢獻將會是拓展人類的智慧型,所以人工智慧將是計算機領域未來的重要發展方向之一.傳統的人工智慧主要研究的是一些搜尋...