TensorRT安裝與使用（一）

2021-10-05 07:12:41 字數 2074 閱讀 5687

參考安裝教程請直接轉到3.1 tar安裝

nvidia tensorrt 的核心是乙個c++庫，有助於對 nvidia 圖形處理單元 （gpu） 進行高效能推理。tensorrt 採用經過訓練的網路，該網路由網路定義和一組經過訓練的引數組成，並生成高度優化的執行時引擎，為該網路執行推理。

tensorrt通過c++和 python 提供 api，這些模型通過網路定義 api 幫助表達深度學習模型，或通過解析器載入預定義的模型，使tensorrt能夠在 nvidia gpu 上優化和執行它們。tensorrt應用圖形優化、圖層融合等優化，同時利用各種高度優化核心集合，找到該模型的最快實現。tensorrt還提供執行時。

確保您熟悉以下安裝要求和注意事項。

debian 和 rpm 安裝會自動安裝依賴項，但是

安裝依賴項

選擇tar解壓路徑即安裝位置，tar檔案會將所有內容都安裝在乙個名為tensorrt-版本號的檔案中

version=」7.x.x.x」 #tensorrt版本號

os=」」 #ubuntu-16.04/18.04 centos-7.6

arch=$(uname -m)

cuda=」cuda-x.x」 #9.0/10.0/10.2

cudnn=」cudnn7.x」 #7.6

tar xzvf tensorrt-$.$.$-gnu.$.$.tar.gz
解壓檔案包含了lib，include，data等

ls tensorrt-$


bin  data  doc  graphsurgeon  include  lib  python  samples  targets  tensorrt-release-notes.pdf  uff
將tensorrt lib庫絕對路徑新增到環境變數ld_library_path
export path=/usr/local/tensorrt-7.0.0.11/bin:$path


export ld_library_path=/usr/local/tensorrt-7.0.0.11/lib:$ld_library_path
安裝python tensorrt wheel檔案

cd tensorrt-$/python
python 2.7

sudo pip2 install tensorrt-*-cp27-none-linux_x86_64.whl
python3.x

sudo pip3 install tensorrt-*-cp3x-none-linux_x86_64.whl
安裝python uff whell檔案（只有使用tensorflow時需要）

cd tensorrt-$/uff
python 2.7

sudo pip2 install uff-0.6.5-py2.py3-none-any.whl
python 3.x

sudo pip3 install uff-0.6.5-py2.py3-none-any.whl
檢查安裝

which convert-to-uff
安裝python graphsurgeon wheel

cd tensorrt-$/graphsurgeon
python 2.7

sudo pip2 install graphsurgeon-0.4.1-py2.py3-none-any.whl
python 3.x

sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl
驗證安裝

tree -d

TensorRT安裝及使用

如果出錯了看是不是這個問題 tensorrt官方安裝 公升級 解除安裝指南 下邊的內容我是學習b站上一位up主的教程，自己順便記錄一下學習的內容。import tensorrt as trt convert to uff frozen inference graph.pb model file da...

tensorrt 安裝 新的

uname r 5.3.0 26 generic gpu1070 nvidia 430.50 cuda v10.0.130 cudnn 7604 tensorflow gpu 1.13.2 tensorrt 5.1.50 python 3.6.9 看 uff uff whl graphsurgeon...

bert 推理加速 使用tensorRt

之前對bert輕量化，視訊記憶體占用減少一半。但是推理速度仍然沒多大變化。因此 計畫通過tensorrt完成模型的推理加速。1.首先，了解一下tensortr是幹什麼的，這篇文章寫得很好。本人猜想，nvidia官方提出tensorrt的目的是為了更好的融合深度學習框架和gpu.tensorflow ...