使用GPU加速你的xgboost lightgbm

當面對結構化資料的機器學習任務時，樹模型往往可以作為首選進行嘗試。然而如果你的資料量大（百萬或千萬），且恰好你又使用了交叉驗證以及網格搜尋，那想必如何加速訓練便是你接下來要考慮的事情。

使用gpu並非tensorflow等這些深度學習框架的專項，xgboost 以及 lightgbm之類的整合學習工具包，也支援使用gpu加速。下面就針對這兩種工具包，如何搭建並使用gpu加速進行簡單記錄。

sudo apt-get install --no-install-recommends git cmake build-essential libboost-dev libboost-system-dev libboost-filesystem-dev

pip install setuptools wheel numpy scipy scikit-learn -u

sudo pip3 install lightgbm --install-option=--gpu --install-option="--opencl-include-dir=/usr/local/cuda/include/" --install-option="--opencl-library=/usr/local/cuda/lib64/libopencl.so"

mkdir -p /etc/opencl/vendors && echo "/usr/lib/x86_64-linux-gnu/libnvidia-opencl.so.1" > /etc/opencl/vendors/nvidia.icd

正常conda install 或者 pip install 即可。

numpy使用GPU加速

在跑完mnist的knn分類後，跑的挺慢，突然想有沒有gpu的numpy的呢，上網查了查，才知道原生的numpy沒有實現 不應該啊。結構查到了minpy，花了10分鐘左右配好了環境，寫個日誌記錄一下。安裝minpy 我的機器是ubuntu 16.04的，minpy需要cuda,cudnn,由於這倆我...

使用GPU加速DSPSR

1 設定環境變數，加入packages sudo gedit etc profile 在下面新增cuda路徑,輸入 packages usr local cuda 10.1 儲存後，使用指令 source etc profile 2 執行dspsr configure cd dspsr config...

tensorflow使用GPU加速

測試faster rcnn時，cpu計算速度較慢，調整 改為gpu加速運算 將 with tf.session as sess 替換為 1 gpu options tf.gpuoptions per process gpu memory fraction 0.9 2 with tf.session ...