主要內容包括：
線性回歸的基本要素
線性回歸模型從零開始的實現
線性回歸模型使用pytorch的簡潔實現
為了簡單起見，這裡我們假設**只取決於房屋狀況的兩個因素，即面積（平方公尺）和房齡（年）。接下來我們希望探索**與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係:
主要內容包括：
線性回歸的基本要素
線性回歸模型從零開始的實現
線性回歸模型使用pytorch的簡潔實現
為了簡單起見，這裡我們假設**只取決於房屋狀況的兩個因素，即面積（平方公尺）和房齡（年）。接下來我們希望探索**與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係:
我們通常收集一系列的真實資料，例如多棟房屋的真實售出**和它們對應的面積和房齡。我們希望在這個資料上面尋找模型引數來使模型的****與真實**的誤差最小。在機器學習術語裡，該資料集被稱為訓練資料集（training data set）或訓練集（training set），一棟房屋被稱為乙個樣本（sample），其真實售出**叫作標籤（label），用來**標籤的兩個因素叫作特徵（feature）。特徵用來表徵樣本的特點。
在模型訓練中，我們需要衡量****值與真實值之間的誤差。通常我們會選取乙個非負數作為誤差，且數值越小表示誤差越小。乙個常用的選擇是平方函式。 它在評估索引為 i 的樣本誤差的表示式為
當模型和損失函式形式較為簡單時，上面的誤差最小化問題的解可以直接用公式表達出來。這類解叫作解析解（analytical solution）。本節使用的線性回歸和平方誤差剛好屬於這個範疇。然而，大多數深度學習模型並沒有解析解，只能通過優化演算法有限次迭代模型引數來盡可能降低損失函式的值。這類解叫作數值解（numerical solution）。
在求數值解的優化演算法中，小批量隨機梯度下降（mini-batch stochastic gradient descent）在深度學習中被廣泛使用。它的演算法很簡單：先選取一組模型引數的初始值，如隨機選取；接下來對引數進行多次迭代，使每次迭代都可能降低損失函式的值。在每次迭代中，先隨機均勻取樣乙個由固定數目訓練資料樣本所組成的小批量（mini-batch）b，然後求小批量中資料樣本的平均損失有關模型引數的導數（梯度），最後用此結果與預先設定的乙個正數的乘積作為模型引數在本次迭代的減小量。
學習率: η代表在每次優化中，能夠學習的步長的大小
批量大小: b是小批量計算中的批量大小batch size
總結一下，優化函式的有以下兩個步驟：
動手學深度學習 線性回歸簡潔實現
matplotlib inline import torch from ipython import display from matplotlib import pyplot as plt import numpy as np import random num inputs 2num examp...
筆記 動手學深度學習
在求數值解的優化演算法中，小批量隨機梯度下降 mini batch stochastic gradient descent 在深度學習中被廣泛使用。它的演算法很簡單 先選取一組模型引數的初始值，如隨機選取 接下來對引數進行多次迭代，使每次迭代都可能降低損失函式的值。在每次迭代中，先隨機均勻取樣乙個由...
深度學習 動手學深度學習筆記 12
g是乙個生成的網路，它接收乙個隨機的雜訊z，通過這個雜訊生成，記做g z d是乙個判別網路，判別一張是不是 真實的 它的輸入引數是x，x代表一張，輸出d x 代表x為真實的概率，如果為1，就代表100 是真實的，而輸出為0，就代表不可能是真實的。在訓練過程中，生成網路g的目標就是盡量生成真實的去欺騙...