好久沒來寫過部落格了，最近忙一些個人的事情終於有一點空閒的時間了，所以決定還是繼續自己喜歡的東西，已經把python的基礎都學得差不多了（雖說有三個月不用我現在又忘得差不多了），然後又看了看方向，感覺還是直接上機器學習比較好（ruby了，高數線代什麼的，邊看邊學再補課吧，要不然需要補得太多，我怕自己看不下去，就不想學習了）。
so，下面我直接開始我的機器學習的基礎演算法： -
**資訊熵**
什麼是資訊熵呢，簡單說就是資訊的權重，他主要表現在資訊量與它的不確定有很大關係：
每個隊世界盃冠軍概率1/32=>p，-p*
log2
p+.....=6
其實就是每乙個隊的概率乘以以二為底該概率的對數
演算法：
機器學習之決策樹
在這裡，我想以更直觀的方式幫助各位理解 掌握並且運用 注意 是運用 決策樹，從而為機器學習作鋪墊。ps 但還是希望大家稍微知道決策樹大概是什麼樣子。1.根結點 root node 沒有入邊，但有零條或多條出邊 2.內部結點 internal node 恰有一條入邊和 兩條或多條出邊 3.葉結點 le...
機器學習之決策樹
決策樹是很常見的機器學習分類演算法，竟然叫決策樹，那麼它的模型其實就像樹一樣。通過對樣本集的學習，挖掘出有用的規則。對於程式設計師來說或許以條件語句來看就更好理解了，決策樹可以看成是多個if then條件語句的集合。這種模型等同於我們寫的條件語句，所以它的 分類速度是很快的。來個例子了解下決策樹分類...
機器學習之決策樹
簡介 決策樹是一種基本的分類方法，當然也可以用於回歸。我們一般只討論用於分類的決策樹。決策樹模型呈樹形結構。在分類問題中，表示基於特徵對例項進行分類的過程，它可以認為是if then規則的集合。在決策樹的結構中，每乙個例項都被一條路徑或者一條規則所覆蓋。通常決策樹學習包括三個步驟 特徵選擇 決策樹的...