1、線性回歸的可行行基礎及資料形式
輸入資料都是帶著標稱的資料;其中x時特徵向量，y為結果；
2、線性回歸解決的問題
相比與前面的感知機模型輸出空間為乙個二元的分類空間，線性回歸輸出空間是全體實數，以銀行審評信用卡為例：
在感知機模型中，輸出結果是；
3、線性回歸的hypothesis
相比與感知機模型在使用權重乘以個特徵的值之後得到結果後進行符號判斷，來輸出二元分類的結果，線性回歸不需要在進行二元分類，直接輸出最後得到的結果就可以；
相同的是，在計算權重與特徵值時，感知機需要使用門限，線性回歸使用偏置
4、hypothesis評價標準（cost function）
residual:餘數，在這裡表示錯誤，就是紅色部分的線段長度；
以上都是我的觀點，一般的衡量標準如下：
採用平方誤差模型，學習的結果與真實的結果差的平方然後求統計平均；
5、怎麼學習？最小化erro
ein的兩個決定因素：w和y，其中y已知；
將求和變成了向量之間的距離，向量的模值；
error函式性質：
1）：連續可微，且是乙個凸函式，極小值必然存在
2）：當函式梯度為0時，表示不能函式值不能再下降，此時error有最小值
結合上面的兩條性質，學習的目的就是找到乙個w使得error函式的梯度為0；
梯度表示式的出後：
假如x*xt可逆，那麼可以直接進行計算且只有唯一解：
當不可逆時，會有多組解，使用虛假反矩陣計算wlin：
當某個平台已經實現好了使用虛假反矩陣的演算法時，比較好的建議是直接使用該方法進行計算wlin：
好處：避免了再去判斷（xt*x）是否可逆；
6、 線性回歸處理過程
2、計算虛假反矩陣
3、計算wlin
7、 線性回歸為什麼是乙個機器學習的演算法？
使用虛假反矩陣計算線性回歸時：
1、按照分析過程直接求解；
2、並沒有通過迭代的方式逐步提公升ein和eout
但是，在計算虛假反矩陣的時候，內部演算法是滿足以上的條件的；
監督學習1 線性回歸
可以認為是多項式回歸的乙個特例吧，最高次冪是1的多項式回歸。可以有多個引數或者叫維度。所有的課程都很熱衷於用房價來展示，看來國內外都不可避免。也有用蟲子與溫度關係表示 這裡，x x 是屬於r1 role presentation style position relative r1r 1的向量，只有...
機器學習 監督學習 （回歸）嶺回歸
1 嶺回歸 標準方程法 import numpy as np from numpy import genfromtxt import matplotlib.pyplot as plt 讀入資料 data genfromtxt r longley.csv delimiter 切分資料 x data d...
機器學習之監督學習 回歸
回歸問題和 分類問題的區別在於 其待 的目標是 連續變數 線性回歸器 如果面對訓練資料十分龐大的任務，隨機梯度法不論是在分類還是在回歸問題上都表現得十分高效，可以在不損失過多效能的前提下，節省大量計算時間 根據scikit learn官網的建議，如果資料規模超過10萬，推薦使用隨機梯度估計引數模型 ...