下圖顯示了機器學習演算法用於訓練模型的迭代試錯過程：圖1用於訓練模型的迭代方法
我們將在整個機器學習課程中使用相同的迭代方法詳細說明各種複雜情況，尤其是上圖中的藍色區域。迭代策略在機器學習中的應用非常普遍，這主要是因為它們可以很好地擴充套件到大型資料集。
「模型」部分將乙個或多個特徵作為輸入，然後返回乙個**(y')作為輸出，為了進行簡化，不妨考慮一種採用乙個特徵並返回乙個**的模型：$$y' = b + w_1x_1$$
我們應該為b和w1設定那些初始值？對於線性回歸問題，事實證明初始值並不重要。我們可以隨機選擇值，不過我們還是選擇採用以下這些無關緊要的值：$$b=0$$
\[w_1 =0
\]
假設第乙個特徵值為10.將該特徵值帶入**函式會得到以下結果：
y' = 0 + 0(10)
y' = 0
圖中的「計算損失」部分是模型將要使用的損失函式。假如我們使用平方損失函式，損失函式將採用兩個輸入值：
最後，我們來看圖的「計算引數更新」部分。機器學習系統就是在此部分檢查損失函式的值，並未b和w1生成新值。現在，假設這個神秘的綠色方框會產生新值，然後機器學習系統將根據所有標籤重新評估所有特徵，為損失函式生成乙個新的值，而該值又產生新的引數值。這種學習過程會持續迭代，直達該演算法發現損失可能最低的模型引數。通常，您可以不斷迭代，直到總體損失不再變化或至少變化及其緩慢為止。這時候，我們可以說該模型已「收斂」。要點在訓練機器學習模型時，首先對權重和偏差進行初始猜測，然後反覆調整這些猜測，直到獲得損失可能最低的權重和偏差為止。
引用
降低損失 迭代方法
迭代學習類似與 hot and cold 這類兒童遊戲 以下為機器學習演算法用於訓練模型的迭代試錯過程 整個機器學習過程中使用相同的迭代方法詳細說明各種複雜情況，尤其處於暴風雨中的藍雲區域 模型 部分將乙個或多個特徵作為輸入，然後返回乙個 y 作為輸出 y b w1x1對於線性回歸問題，事實證明初始...
谷歌機器學習速成課程 3降低損失 迭代方法
迭代學習可能會讓您想到 hot and cold 這種尋找隱藏物品 如頂針 的兒童遊戲。在我們的遊戲中，隱藏的物品 就是最佳模型。剛開始，您會胡亂猜測 w 1 w1 的值為 0。等待系統告訴您損失是多少。然後，您再嘗試另一種猜測 w 1 w1 的值為 0.5。看看損失是多少。哎呀，這次更接近目標了。...
學習筆記 降低損失
機器學習模式是以迭代的方式來降低損失，這種方法有點像 hot and cold 這種兒童遊戲，在遊戲中，隱藏的物品就是最佳模型，剛開始我們會胡亂猜測，比如w 0,然後系統告訴我們損失是多少，然後我們再重新猜測乙個值，看看損失是多少，通常我們會越來越接近目標。問題是我們如何盡可能高效的找到最佳的模型。...