1.數學知識回顧：
點到平面的距離：
2.梯度下降法：
3.隨機梯度下降l(
w)=∑
i=1n
l(yi
,f(x
i;w)
)∇l(
w)=∑
i=1n
∇l(y
i,f(
xi;w
))=∑
i=1n
∇li(
w)'>l(w)=∑i=1nl(yi,f(xi;w))∇l(w)=∑i=1n∇l(yi,f(xi;w))=∑i=1n∇li(w)
l(w)=∑i=1nl(yi,f(xi;w))∇l(w)=∑i=1n∇l(yi,f(xi;w))=∑i=1n∇li(w)w(
t+1)
←w(t
)−ηt
∇li(
w(t)
)'>w(t+1)←w(t)−ηt∇li(w(t))
w(t+1)←w(t)−ηt∇li(w(t))
4.最大似然估計l(
θ)=∏
θm(1
−θ)n
nll(
θ)=−
mlog
θ−nl
og(1
−θ)d
nll(
θ)dθ
=−mθ
+n1−
θ,可得
θ=mm
+n'>dnll(θ)
l(θ)=∏θm(1−θ)nnll(θ)=−mlogθ−nlog(1−θ)dnll(θ)dθ=−mθ+n1−θ,可得θ=mm+n
5.如何做分類
6.感知機、支援向量機和邏輯回歸
支援向量機：
邏輯回歸：
7.感知機y=
h(f(
x))=
'>y∈
y∈，則樣本(xi
,yi)
'>(xi,yi)
(xi,yi)概率為：p(
yi|x
i)=1
1+e−
yiwt
xi'>p(yi|xi)=11+e−yiwtxi
p(yi|xi)=11+e−yiwtxi
機器學習十講第三講
本講開始講了梯度下降演算法和最大似然估計演算法。樣本數量 n classes 2,類別數量 n features 2,特徵數量 n informative 2,有資訊特徵數量 n redundant 0,冗餘特徵數量 n repeated 0,重複特徵數量 n clusters per class ...
機器學習十講01
2021.1.26 概論人工智慧 機器學習 深度學習 機器學習問題 資料 聚類 分類 異常值分析 機器學習的基本方法 監督學習 1 資料集中的樣本帶有標籤，有明確目標。2 回歸和分類。無監督學習 1 資料集中的樣本沒有標籤，沒有明確目標。2 聚類 降維 排序 密度估計 關聯規則挖掘 強化學習 介於前...
機器學習十講 第一講
我們將機器學習定義為一組能夠自動檢測模式資料的方法，然後利用未發現的模式來 未來的資料，或者在不確定的情況下執行各種決策 例如計畫如何收集更多的資料 模型和計算能力 深度學習 gpu 分布式系統 廣泛的應用場景 營銷 廣告 金融 交通 醫療等 是指資料採集 資料清洗 資料分析和資料應用的整個流程中的...