雖說處暑已過，意味著夏季的結束，可「秋老虎」馬上就控制著南方地區，高溫天氣可絲毫不放過南方地區的小夥伴，深圳更是濕熱濕熱的，講道理，這種天氣不來塊西瓜真的對不住自己哇。
吃西瓜前得學會挑西瓜，賣瓜的胖大媽一手拍著自己的肚皮，一手拍著瓜皮，「聽見沒，小夥子，這瓜聲音清脆跟咱拍肚皮聲音一樣，難得的好瓜，不甜不要你錢！」大媽聲音激昂帶著自豪，話劇感十足。站在旁邊的同行王大爺可不樂意了，「小夥子你看我這瓜，花紋完整又有規律、飽滿，我這才是甜瓜，你試試我的瓜」，大爺拿著煙桿的手抱住西瓜就往我身上推，煙圈一圈跟著一圈……
當然了你不能立刻判斷誰是對的，因為他們都是按照經驗驅動進行決策選瓜的，可能漏掉了其他條件，又或者該條件根本不是決定手上拿的瓜是否是好瓜的關鍵因素，是不是難以決定？別急，咱交給計算機試試。
人工智慧發展的今天，機器學習如何挑選西瓜已經不是難事了，今天說的就是一種常見的機器學習方法——決策樹。
要想解釋「決策樹」這個演算法，我們得首先拆分決策和樹，我們先講樹，顧名思義，我們先構造樹型結構，然後基於樹結構來進行決策，這是不是很像人類在進行選擇判斷時候的思維方式，只不過這裡面過程很快，似乎你自己都沒怎麼留意。
決策過程中提出的每個判斷問題都是對某個屬性的「測試」，比如這裡的西瓜問題的一棵決策樹，首先我們傳入一些資料，這些資料從上往下走，一步一步判斷，色澤是什麼樣子的，然後有些資料進入左邊的分支，有些進入右邊分支，而每個分支又繼續按照當前的屬性進行判斷，直到最後判斷出好瓜。
我們首先看決策樹裡的專業說法：根節點、非葉子節點（決策點）、葉子節點、分支。
根節點，顧名思義，根，第乙個屬性，比如這裡的西瓜決策樹「色澤=？」就是根節點；
葉子節點，後面不會繼續進行判斷了，比如這裡的第二行矩形的右邊矩形內就是葉子節點；
非葉子節點也叫決策點，與葉子節點相反，後面繼續有分支，沒有得出最終的結果。
決策樹的兩個階段：
1決策階段，從給定的訓練集裡構造一棵決策樹，2分類階段，從根開始，按照決策樹的分類屬性逐層往下劃分，直到葉節點時獲得結果。
剛才在展示西瓜問題的一棵決策樹時，不知道你有沒有這樣的疑惑，這裡的決策樹根節點、葉子節點是怎麼選的呢，是不是可以隨便選的，他們的地位是一樣可以互相換位置根據自己的喜好來的？你憑什麼就把色澤當成根節點而不是其他屬性呢？誰當根節點的問題，決策樹是有一套規則的，我們先說乙個概念——熵。
我最早接觸這個字是高中化學的時候，老師說熵表示混亂的程度，熵值越高就越混亂，越低就越純。決策樹裡的熵也同樣如此，熵值越高，表示資訊越雜，不確定性很大。
資訊增益
構造決策樹的基本思想是隨著樹深度的增加，節點的熵迅速的降低（也就是說我們想要找到高度最矮的決策樹），前面我們說熵越高資訊越雜，而我們希望熵下降的速度越快越好，首先根據公式計算不經過任何處理時的熵值；按照歷史資料，我們嘗試把每乙個屬性當作根節點計算資訊熵，每個屬性當作根節點時候的熵值求出來了，原始狀態下的熵也計算出來了，原始的熵與每個屬性當作節點的熵之差叫做資訊增益，資訊增益越大越好，哪個屬性的資訊增益越大，我們就選擇誰當根節點，因為這樣進行構造決策樹才能滿足高度最矮，那其他節點怎麼安排呢，其實就是遞迴，依舊按照資訊增益大就優先選誰。
資訊增益率
當原始資料屬性很多，可對應的個數卻很少的時候，資訊增益非常大，所以為了減少這種影響，我們想要乙個相對的指標去判斷，資訊增益率就是資訊增益比上自身的熵值，c4.5決策樹演算法就是使用增益率來選擇最優劃分屬性，值得注意的是c4.5演算法並不是直接選擇增益率最大的時候劃分屬性，而是先從候選劃分屬性中找出資訊增益高於平均水平的屬性。
gini係數
基尼係數的公式：
cart決策樹使用基尼係數來選擇劃分屬性（基尼係數值最小屬性作為最優劃分屬性），其實gini係數跟熵是一樣的，基尼係數越小，則資訊純度就越高。
決策樹剪枝
在決策樹學習中，為了盡可能正確分類訓練樣本，節點劃分過程中將不斷重複，會造成決策樹分支過多，而決策樹剪枝就是為了防止決策樹機器演算法過擬合。
決策樹剪枝有兩種方式：預剪枝和後剪枝。
預剪枝：在構造決策樹的過程中提前停止，比如我們可以指定決策樹的深度（比如四），決策樹在構造4層就會停止，對於最小樣本量，我們也可以指定，達到最小樣本樣提前停止；
後剪枝：在決策樹構造好後再開始剪枝，一棵決策樹葉子節點個數越多，損失越大，所以後剪枝希望葉子節點少點。
我在媽媽眼裡就是一醜小鴨
我長得很醜，沒有誰會喜歡，找個男朋友也只是玩玩很快會拋棄自己，從小就是乙個不招人喜歡的孩子，如今自己也認命了 只要對方願意接受，我會好好珍惜這份情感，希望對方能夠理解和呵護，能夠懂得心疼自己，只要兩人在一起開心，自己做牛做馬都願意，自己都搞不明白，曾經心愛的男朋友在說要給自己幸福和快樂，有一天居然丟...
我在大學畢業後學習Linux系統的心得經驗
扣著手指頭一算，自己已經畢業快半年了，這半年莫名其妙進外包圈子溜達了一圈，有幸退的早還是正常幹一些事情吧，外包終究不是太適合剛入社會的畢業生，今天想把自己的學習和工作經驗寫成一篇文章，希望能夠幫助到正在學習linux技術的同學們，不過每個人的境遇不一樣，請不要吐槽我的經歷。當初自己沒能考上名牌大學，...
我在大學畢業後學習Linux系統的心得經驗
扣著手指頭一算，自己已經畢業快半年了，這半年莫名其妙進外包圈子溜達了一圈，有幸退的早還是正常幹一些事情吧，外包終究不是太適合剛入社會的畢業生，今天想把自己的學習和工作經驗寫成一篇文章，希望能夠幫助到正在學習linux技術的同學們，不過每個人的境遇不一樣，請不要吐槽我的經歷。當初自己沒能考上名牌大學，...