《吳恩達機器學習》18 機器學習總結

原機器學習最後一章的內容為 文字識別，但是筆者在看了這一章的課程之後發現其內容可能實際應用性不大，課程講的ocr識別的方法已經不適合目前主流的演算法（目前主流使用cnn——卷積神經網路），故省略這一章節的筆記，改為對整個機器學習課程的總結。

1、線性回歸

線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法，運用十分廣泛。其表達形式為hθ(x) = θtx

logistic回歸是一種廣義線性回歸（generalized linear model），因此與多重線性回歸分析有很多相同之處。它們的模型形式基本上相同，都具有 w『x+b，其中w和b是待求引數，其區別在於他們的因變數不同，多重線性回歸直接將w『x+b作為因變數，即y =w『x+b，而logistic回歸則通過函式l將w『x+b對應乙個隱狀態p，p =l(w『x+b),然後根據p 與1-p的大小決定因變數的值。如果l是logistic函式，就是logistic回歸，如果l是多項式函式就是多項式回歸

人工神經網路是由大量處理單元互聯組成的非線性、自適應資訊處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶資訊的方式進行資訊處理。

支援向量機（support vector machine, svm）是一類按監督學習（supervised learning）方式對資料進行二元分類（binary classification）的廣義線性分類器（generalized linear classifier），其決策邊界是對學習樣本求解的最大邊距超平面（maximum-margin hyperplane）

k均值聚類演算法是先隨機選取k個物件作為初始的聚類中心。然後計算每個物件與各個種子聚類中心之間的距離，把每個物件分配給距離它最近的聚類中心。聚類中心以及分配給它們的物件就代表乙個聚類。一旦全部物件都被分配了，每個聚類的聚類中心會根據聚類中現有的物件被重新計算。這個過程將不斷重複直到滿足某個終止條件。終止條件可以是沒有（或最小數目）物件被重新分配給不同的聚類，沒有（或最小數目）聚類中心再發生變化，誤差平方和區域性最小。

pca（principal components analysis）即主成分分析技術，又稱主分量分析。主成分分析也稱主分量分析，旨在利用降維的思想，把多指標轉化為少數幾個綜合指標。

異常檢測，顧名思義就是檢測異常的演算法，比如網路質量異常、使用者訪問行為異常、伺服器異常、交換機異常和系統異常等，都是可以通過異常檢測演算法來做監控的

異常定義為「容易被孤立的離群點 (more likely to be separated)」——可以理解為分布稀疏且離密度高的群體較遠的點。用統計學來解釋，在資料空間裡面，分布稀疏的區域表示資料發生在此區域的概率很低，因而可以認為落在這些區域裡的資料是異常的。

推薦系統是利用 [1] 電子商務**向客戶提供商品資訊和建議，幫助使用者決定應該購買什麼產品，模擬銷售人員幫助客戶完成購買過程。個性化推薦是根據使用者的興趣特點和購買行為，向使用者推薦使用者感興趣的資訊和商品。

隨著電子商務規模的不斷擴大，商品個數和種類快速增長，顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的資訊和產品過程無疑會使淹沒在資訊過載問題中的消費者不斷流失。

為了解決這些問題，個性化推薦系統應運而生。個性化推薦系統是建立在海量資料探勘基礎上的一種高階商務智慧型平台，以幫助電子商務**為其顧客購物提供完全個性化的決策支援和資訊服務。

由於在大資料集的機器學習下的梯度下降法會比較慢，本章介紹最多的是幾種梯度下降的方法

批量梯度下降法 > 隨機梯度下降法 > 小批量梯度下降法

最後，我們還提到了很多關於構建機器學習系統的實用建議。這包括了怎樣理解某個機器學習演算法是否正常工作的原因，所以我們談到了偏差和方差的問題，也談到了解決方差問題的正則化，同時我們也討論了怎樣決定接下來怎麼做的問題，也就是說當你在開發乙個機器學習系統時，什麼工作才是接下來應該優先考慮的問題。因此我們討論了學習演算法的評價法。介紹了評價矩陣，比如：查準率、召回率以及 f1 分數，還有評價學習演算法比較實用的訓練集、交叉驗證集和測試集。我們也介紹了學習演算法的除錯，以及如何確保學習演算法的正常執行，於是我們介紹了一些診斷法，比如學習曲線，同時也討論了誤差分析、上限分析等內容

吳恩達機器學習筆記

為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...

吳恩達機器學習感悟

吳恩達機器學習，斯坦福2014筆記 由8.2 神經元和大腦想到的 神經重連實驗，比如眼睛連到聽覺皮層，則聽覺皮層學會了看 眼睛連到觸覺皮層，則觸覺皮層學會了看 舌頭上加攝像頭關聯的電極陣列，則負責舌頭感知的皮層學會了看。這寫neuron re wiring實驗，給出的結論是大腦各區使用的是同一種演算...

吳恩達機器學習筆記

sigmoid啟用函式 0，1 x 0,y 0.5 tanh啟用函式 1，1 x 0,y 0 relu啟用函式 x 0,y 0 x 0,y x sigmoid啟用函式 除了輸出層是乙個二分類問題基本不會用它。tanh啟用函式 tanh是非常優秀的，幾乎適合所有場合。relu啟用函式 最常用的預設函式...