用於決策樹的屬性選擇函式，定義為其屬性的不純性度量，
發生概率越低的事件，其所攜帶的熵越低。滿足以下幾個條件：
1.當結點很純時，其度量值為0；
2.當不純性最大時，其度量值最大；
3.度量應該服從多
級特性，使得決策樹可以分階段建立起來。
其中pi為比例值。
資訊增益，即前後資訊的差值，對於決策樹分類問題而言，指的是決策樹在進行屬性選擇劃分前後的資訊差值。
演算法會選擇最大的資訊增益屬性來進行劃分。
由於使用熵和資訊增益來進行決策樹的屬性選擇時，可能會出現過擬合的現象（即某個屬性存在大量的不同值，在劃分時將每個值劃分成乙個節點），因此我們採用資訊增益率，一種綜合的評價指標，考慮了分支數量和尺寸因素。
關於資料探勘中決策樹的知識
在資料探勘中，有很多的演算法是需要我們去學習的，比如決策樹演算法。在資料探勘中，決策樹能夠幫助我們解決更多的問題。當然，關於決策樹的概念是有很多的，所以說我們需要多多學習多多總結，這樣才能夠學會並且學會資料探勘的知識，在這篇文章中我們就重點為大家介紹一下關於決策樹的相關知識。1.決策樹的演算法 決策...
node學習中HTTP知識的補充
現在很多同學在面試的前端的過程中肯定遇到很多面試官問http方面的問題，在我接觸的很多前端朋友在這方面都比較偏弱，在學習nodejs過程中難免要接觸這些東西。總體上分三大部 1 http客戶端傳送請求，建立埠。2 http伺服器在埠監聽客戶端請求 3 http伺服器向客戶端返回狀態碼和內容 我記得我...
資料探勘學習基礎知識
資料探勘的學習，我是參考了 資料探勘概念與技術 韓家煒老師的書籍學習 第一部分 認識資料 1.1 屬性 屬性是乙個資料字段，便是資料物件的乙個特徵。分類一 標稱屬性 值是符號或事物的名稱。ex，hair color,customer id。對其算數運算無 意義。二元屬性 一種標稱屬性。只有兩個狀態o...