GBDT LR特徵融合的例子

2021-08-28 05:29:15 字數 1553 閱讀 2768

import pandas as pd

from sklearn.linear_model import logisticregression

from sklearn.ensemble import gradientboostingclassifier

from sklearn.preprocessing import onehotencoder

# 匯入資料

x = pd.read_table('vecs_new.txt',header=none,sep=',')

y = pd.read_table('labels_new.txt',header=none)

# 切分為測試集和訓練集,比例0.5

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.5)

# 將訓練集切分為兩部分,一部分用於訓練gbdt模型,另一部分輸入到訓練好的gbdt模型生成gbdt特徵,然後作為lr的特徵。這樣分成兩部分是為了防止過擬合。

x_train, x_train_lr, y_train, y_train_lr = train_test_split(x_train, y_train, test_size=0.5)

# 弱分類器的數目

n_estimator = 10

# 呼叫gbdt分類模型

grd = gradientboostingclassifier(n_estimators=n_estimator)

# 呼叫one-hot編碼。

grd_enc = onehotencoder()

# 呼叫lr分類模型。

grd_lm = logisticregression()

#使用x_train訓練gbdt模型,後面用此模型構造特徵

grd.fit(x_train, y_train)

#直接進行**,檢視auc得分

y_pred_grd = grd.predict_proba(x_test)[:, 1]

fpr_grd, tpr_grd, _ = metrics.roc_curve(y_test, y_pred_grd)

roc_auc = metrics.auc(fpr_grd, tpr_grd)

print 'predict',roc_auc

# fit one-hot編碼器

#使用訓練好的gbdt模型構建特徵,然後將特徵經過one-hot編碼作為新的特徵輸入到lr模型訓練。

# 用訓練好的lr模型多x_test做**

# 根據**結果輸出

fpr_grd_lm, tpr_grd_lm, _ = metrics.roc_curve(y_test, y_pred_grd_lm)

roc_auc = metrics.auc(fpr_grd_lm, tpr_grd_lm)

print 'predict',roc_auc

print("auc score :",(metrics.roc_auc_score(y_test, y_pred_grd_lm)))

參考:

特徵融合方法

在很多任務作中,融合不同尺度的特徵是提高分割效能的乙個重要手段。低層特徵解析度更高,包含更多位置 細節資訊,但是由於經過的卷積更少,其語義性更低,雜訊更多。高層特徵具有更強的語義資訊,但是解析度很低,對細節的感知能力較差。如何將兩者高效融合,取其長處,棄之糟泊,是改善分割模型的關鍵。很多任務作通過融...

背景建模 顏色特徵和紋理特徵融合

顏色特徵是利用ycbcr顏色空間,可以減少陰影對檢測結果的影響 顏色特徵的相似度計算 紋理特徵影象梯度值,可以利用sobel運算元計算得到 紋理特徵的相似度計算 choquet積分融合顏色特徵和紋理特徵 待學習了choque積分相關知識後,再新增 該方法的優點 文獻中提到可以減少光線突變和陰影對檢測...

機器學習的未來 深度特徵融合

摘要 深度特徵融合是一項能夠克服機器學習不足,為機器學習開啟通往未來大門的新技術。新技術要不要了解一下?即使是最敏銳的技術布道師也無法 大資料對數字革命的影響。因為他們最初的關注點都聚焦在了擴大基礎設施以構建現有服務上。在提高對現有資料的處理能力時,許多的新技術被提出。關於機器學習的概念最早誕生於科...