from sklearn.feature_extraction import dictvectorizer
import csv
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import stringio
# 讀取csv資料，並將資料和特徵值存入字典和類標籤列表
allelectronicsdata = open(r'allelectronics.csv', 'rt')
reader = csv.reader(allelectronicsdata)
headers = next(reader)
# 原**中用的是：
# headers = reader.next()
# 這句**應該是之前的版本用的，現在已經更新了沒有next這個函式
# print(headers)
featurelist =
labellist =
for row in reader:
rowdict = {}
for i in range(1, len(row) - 1):
rowdict[headers[i]] = row[i]
# print(featurelist)
# 將特徵值向量化,代表將各種引數進行向量化
vec = dictvectorizer()
dummyx = vec.fit_transform(featurelist).toarray()
# print("dummyx: " + str(dummyx))
# print(vec.get_feature_names())
# print("labellist: " + str(labellist))
# 將類標籤列表向量化，就是最後的結果
lb = preprocessing.labelbinarizer()
dummyy = lb.fit_transform(labellist)
# print("dummyy: " + str(dummyy))
# 使用決策樹進行分類
clf = tree.decisiontreeclassifier()
# clf = tree.decisiontreeclassifier(criterion = 'entropy')
clf = clf.fit(dummyx, dummyy)
# print("clf: " + str(clf))
# 將模型進行視覺化
with open("allelectrionicinformationori.dot", 'w') as f:
f = tree.export_graphviz(clf, feature_names = vec.get_feature_names(), out_file = f)
onerowx = dummyx[0, :]
# print("onerowx: " + str(onerowx))
# 接下來改變一些資料進行**
newrowx = onerowx
newrowx[0] = 0
newrowx[1] = 1
print("newrowx: " + str(newrowx))
predictedy = clf.predict(newrowx.reshape(1, -1)) # **的結果需要加上後面的reshape(1, -1),不然會
# 報錯：
# valueerror: expected 2d array, got 1d array instead:
# array=[0. 1. 1. 0. 1. 1. 0. 0. 1. 0.].
# reshape your data either using array.reshape(-1, 1)
# if your data has a single feature or array.reshape(1, -1) if it contains a single sample.
print("**的結果為： " + str(predictedy))
針對人員購買力進行一次分類，以此來對專案進行分類，在最後的過程中，還可以對結果進行一定的**。**見上，有一些優點和缺點
決策樹演算法的優點：
1）簡單直觀，生成的決策樹很直觀。
2）基本不需要預處理，不需要提前歸一化，處理缺失值。
3）使用決策樹**的代價是o(l
og2m
)o(log2m)
。 m為樣本數。
4）既可以處理離散值也可以處理連續值。很多演算法只是專注於離散值或者連續值。
5）可以處理多維度輸出的分類問題。
6）相比於神經網路之類的黑盒分類模型，決策樹在邏輯上可以得到很好的解釋
7）可以交叉驗證的剪枝來選擇模型，從而提高泛化能力。
8） 對於異常點的容錯能力好，健壯性高。
我們再看看決策樹演算法的缺點:
1）決策樹演算法非常容易過擬合，導致泛化能力不強。可以通過設定節點最少樣本數量和限制決策樹深度來改進。
2）決策樹會因為樣本發生一點點的改動，就會導致樹結構的劇烈改變。這個可以通過整合學習之類的方法解決。
3）尋找最優的決策樹是乙個np難的問題，我們一般是通過啟發式方法，容易陷入區域性最優。可以通過整合學習之類的方法來改善。
4）有些比較複雜的關係，決策樹很難學習，比如異或。這個就沒有辦法了，一般這種關係可以換神經網路分類方法來解決。
5）如果某些特徵的樣本比例過大，生成決策樹容易偏向於這些特徵。這個可以通過調節樣本權重來改善。
機器學習基礎 決策樹
決策樹演算法是機器學習中最經典的演算法之一。大家可能聽過一些高深的演算法，例如在競賽中經常使用的xgboost 各種整合演算法等，他們都是基於樹模型來建立的，所以掌握那些模型，首先我們需要掌握決策樹。樹 有乙個根節點，由根結點開始，不斷的擴充套件，最終到達葉子結點，葉子結點就是最終的點，後面就無法擴...
機器學習基礎學習 決策樹
決策樹是一種基本的分類與回歸方法，它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種，分類樹對離散變數做決策樹，回歸樹對連續變數做決策樹。決策樹分類器就像判斷模組和終止塊組成的流程圖，終止塊表示分類結果 也就是樹的葉子 判斷模組表示對乙個特徵取值的判斷 該特徵有幾個值，判斷模組就有幾個分支 一...
機器學習基礎學習 決策樹
決策樹是一種基本的分類與回歸方法，它是基於樹的結構進行決策的。決策樹分為分類樹和回歸樹兩種，分類樹對離散變數做決策樹，回歸樹對連續變數做決策樹。決策樹分類器就像判斷模組和終止塊組成的流程圖，終止塊表示分類結果 也就是樹的葉子 判斷模組表示對乙個特徵取值的判斷 該特徵有幾個值，判斷模組就有幾個分支 一...