在優化演算法的迭代過程中，可能會存在很多個可以改善的方面。
假設你同時修改多個進行優化，那麼不能直接從結果中看出。你要做的類似於控制變數法，一次修改乙個看看是否有用。
在演算法的不斷改善的迭代過程中，存在這樣的情況：如果你的準確率劣於人類表現，那麼改善速度會很快。但是當超過人類表現後會變慢。誤差因為實際情況的原因，存在乙個上限。例如語言識別中雜音很重，根本聽不清楚，那麼這種情況下一定存在誤差。這個上限稱為貝葉斯最優誤差。
假設你的驗證集誤差為10%，貝葉斯誤差1%，測試集誤差為15%，那麼存在9%的可避免偏差（要擬合的更好），5%的可避免方差（存在過擬合問題）。
那麼顯然可避免偏差較大，根據正交化的思想，我們嘗試先減小偏差，例如加大梯度下降執行次數等。
在一些領域，例如計算機視覺，人類表現非常好，近乎接近極限。那麼在這種情況下，我們用人類表現去代替貝葉斯誤差。
有乙個問題，乙個普通人的誤差是10%，專家的誤差是5%，一群專家討論的誤差是2%。那麼我們用來代替貝葉斯誤差的人類誤差應該是2%。
計算機在感知方面超越人類很難，但是在基於資料、經驗的問題解決上很容易強於人類。
例如，給你推送電影、**首頁、判斷一件事發生的概率、圍棋的下法。
列正交化 施密特正交化方法
a1 1 1 0 0 a2 1 0 1 0 a3 1 0 0 1 a a1 a2 a3 u a m,n size u y u y 1 y 1 norm y 1 for k 2 n y k u k endfor k 2 n for j k n y j y j y k 1 y j y k 1 endp1...
施密特正交化
對於一組向量，有時候我們需要對其進行正交化處理，也就是說，該組向量中任意兩個向量都是互相垂直的。那麼，要怎麼做呢？假設只有兩個向量，vec v 0 和 vec v 1 正交化的幾何示意圖如下所示。假設正交化之後的向量為 vec w 0 和 vec w 1 那麼由圖可知，可得 vec w 0 vec ...
模板正交化
引自 軟體工程實踐導論 p.203 金尊和著 2005年4月 清華大學出版社 模板的模組化 模板也可以分成很多模組，不一定要一次做完。甚至可以是並行的或者序列的等各種複雜的拓撲結構，每乙個部分所使用的模板 引擎都可以不一樣。模板的單獨的小模組，有會被大模板引用。模組之間可以有 包含 引用 關係。包含...