一直知道機器學習很火，終於動手看完peter flach的機器學習。第一次看，好多東西只有模糊概念，記乙份筆記在此。
機器學習是對依據經驗提公升其知識或效能的演算法與系統的系統性研究。
任務是借助模型來完成的，而學習問題則是通過用於生成模型的學習演算法來解決。
機器學習所關注的是使用恰當的特徵來構建恰當的模型。
模型賦予了機器學習領域以多樣性，而任務和特徵則賦予其一致性。
希望先忽略先驗分布或假設其為均勻分布時，請使用似然；否則，請使用後驗概率。
一切都應該盡可能簡單。
在覆蓋圖中，具有相同準確率的分類器，可用斜率為1的線段連線。
在規範化的覆蓋圖中，斜率為1的線段連線了具有相同平均查全率的分類器。
roc曲線下方的面積表示排序準確率。
分組模型的roc曲線中的線段數與該模型中例項空間中的區隔數相同；資料集中的每個例項都與評分模型的roc曲線中的一條線段對應。
減少對模型的求精，有時可以獲得更優的排序效能。
可借助冰姐分值對例項空間的區隔進行整合，以改善roc曲線中凹狀的部分。
為避免過擬合，需要從資料中估計出的引數數目應顯著少於資料點的個數。
在描述性學習中，任務和學習問題是同一的。
lgg是我們能夠從資料中學習到的最為保守的推廣。
任意介於嘴不具一般性和最具一般性的某一概念之間的概念都是一種可能的假設。通過架設空間的任意一條向上路徑都與一條覆蓋曲線相對應。
決策樹的描述能力優於合取概念。
一種避免過擬合切有利於學習的方式是有意選擇具有一定侷限性的假設語言。
由決策樹葉結點中的經驗概率獲得的排序可一條在訓練資料上生成凸roc曲線。
熵和gini指針對類分布的波動較為敏感。
規則列表和決策樹類似，因為與每條規則關聯的經驗概率都會在訓練資料上生成凸的roc曲線和覆蓋曲線。
（xetx)e-1可以視為一種將特徵去相關，中心化並歸一化的變換。
通過假設特徵之間不相關，可將多元回歸問題有效分解為多個一元回歸問題。
構造決策面為wx＝t的線性分類器的一般做法是將w取為me－1(nue+ - nue-)
若從對偶形式的，基於例項的角度來看待線性分類，我們所學習的並非特徵的權值w，而是例項的權值a。
具有最小複雜度的軟間隔分類器用類均值來概括各類別，這種方式與基本線性分類器非常類似。
可從基於距離對角度來理解基本線性分類器：首先在每個類內構造能夠將平方歐氏距離最小化的範例，然後運用最近鄰範例決策規則。
概率並非只能解釋為相對頻率的估計量，它還可以承載更具一般性的，置信層面的含義。
對不相關、單位方差的高斯特徵來說，基本線性分類器是貝葉斯最優的。
高斯似然達負對數可解釋為距離的平方。
對機器學習問題的概率處理方案應在理論基礎的堅實性和為獲得可行解決方案所需的實用性之間找到平衡點。
使用未標定到概率估計量（如由樸素被噎死模型產生的估計量）會產生一種易被忽悠的後果，即ml和map決策規則都會變得不充分。
樹模型會忽略數值型特徵的尺度，並將其視為有序特徵。
在對數機率空間中借助特徵標定將資料擬合到某個線性決策面，可理解為訓練樸素貝葉斯模型。
偏置較小的模型往往具有較大的方差。
bagging主要用於減小模型的方差，而boosting則主要用於見效模型的偏置。
機器學習實驗的目的是對模型提出問題，而我們嘗試依據該模型在資料上獲得的度量來回答這些問題。
準確率和查全率的組合－f度量，對真負例多個數不敏感。
置信區間是關於估計量而非關於評價指標真值的陳述。
強化學習是一種用於學習在給定情形下如何對行動作出決策的原理性方法。經典圖書是sutton和barto1998的著作。
reinforcement learning: an introduction
學習和自學習能力是人工智慧的必備條件。
深度學習研究核心是利用自主構造的層次化特徵，參考bengio2009
learning deep architecture for ai
機器學習基本概念心得筆記（一）
1.基本概念 訓練集，測試集，特徵值，監督學習，非監督學習，半監督學習，分類，回歸 2.概念學習 人類學習概念 鳥，車，計算機 定義 概念學習是指從有關某個布林函式的輸入輸出訓練樣例中推斷出該布林函式 概念定義在例項 instance 集合之上，這個集合表示為x。x 所有可能的日子，每個日子的值由 ...
濃縮就是精華 SIGAI機器學習藍寶書
推薦閱讀 1 機器學習 波瀾壯闊40年 獲取碼 sigai0413.2 學好機器學習需要哪些數學知識？獲取碼 sigai0417.3 人臉識別演算法演化史 獲取碼 sigai0420.4 基於深度學習的目標檢測演算法綜述 獲取碼 sigai0424.5 卷積神經網路為什麼能夠稱霸計算機視覺領域？獲取...
學習筆記整理心得
最近學習shell和python。發現在學習過程中對於筆記的整理很是重要，總結筆記搞笑學習的心得 一，把知識結構畫出來，圖比文字更能好的理解記 比如http 協議 所有都一目了然。二，筆記要簡潔，我個人建議用筆記本，這樣還能打破對於電腦畫圖軟體的瓶頸，要隨時我學到的東西或能用圖表示的東西畫下來，記下...