打造深度學習煉丹爐

2021-09-19 04:16:50 字數 2229 閱讀 4492

其中本地安裝指的是本地帶有顯示卡的台式主機或者筆記本,遠端安裝特指雲端需要遠端連線的伺服器;以上兩種情況都各包含三種安裝方式:直接安裝、anaconda安裝、docker安裝

直接安裝的意思就是直接將框架裝在系統的 python 的 warper 下,最常用的就是 sudo pip install *** 命令,這樣每次進python環境只要 import *** 就好了,操作簡單;

如果你是本地環境,說明這台機器是你自己獨佔的,sudo 許可權也是有的,這種方法尚可用,但是不太推薦,尤其是煉丹你不可能就只有一味藥材,意味著剩下的庫你都得手動安裝。

如果是遠端伺服器,那基本意味著你沒有 sudo 許可權;或者你就算有,按這種方法裝很可能你今天用的好好的,明天別人裝了個其他東西,你再跑你的**就涼了,so 建議直接放棄這種方法。

anaconda安裝最方便的就是它本身是乙個包管理器,直接用裡面的 python 作為**的 interpreter 也是可以的,安裝框架也是直接 pip install *** 簡單方便(這裡不需要sudo,庫是安裝到anaconda的管理包目錄下的);

但是最優秀的是它可以建立很多環境,比如機器上想來個 tensorflow 來個 pytorch 再來個 mxnet,只要先各自 conda create tensorflow/pytorch…等等 python=version號,然後安裝各自對應的框架就可以了;而且名字啥的都可以隨便取,乙個框架裝好幾個版本也行,每次用哪個之前就 conda activate *** 或者 source activate *** 就行,安裝好了之後配合 pycharm 設定一下工程的python interpreter就能用,另外看哪個不爽直接進 anaconda 的 envs 下面把對應的資料夾 rm -rf 掉就完了,比較省事。

這裡本地安裝就是直接在本機上先裝個 anaconda,建立好環境後裝好框架,然後再下個 pycharm(社群版的就可以),開啟 project 後設定下 python 的 interpreter 是你剛剛 anaconda envs 下面的 python 就可以了。

這裡遠端安裝也差不多,先在伺服器上裝個 anaconda 建立環境裝框架,然後在自己筆記本上裝 pycharm (emmmmm 這裡社群版的不支援ssh,要下個pro版的),然後設定下 interpreter 選 ssh 定位到伺服器的 anaconda envs 下面的 python 就行,另外設定下 deployment 把本地**部署到伺服器,對應目錄對映關係做好,這樣就可以跑除錯**了。

另外遠端安裝有個問題是因為框架是在遠端跑的,圖我咋看、我想出圖啊,跑完了 loss 啥的不畫個圖怎麼搞?那ssh就必須要 -x 了!

這裡放個解決方法,親測能用。

pycharm使用遠端python直譯器並用matplotlib繪圖的方法

docker對一般的調參俠來說就稍微有點高階了,雖然說熟了之後敲的命令種類不會超過30種,但是終歸還是有學習成本的不是。不過現在公司裡有運維的話大都會用 docker 了,有條件的話還是建議學習乙個,一次搞定終身解放,很多部署都是直接連 ** + 環境 一起打包乙個映象出去就完事了,如果對面還用不起來只能說明太菜。

docker 本地安裝呢,很多丹師已經寫了很多不錯的文章了,這裡直接給幾篇

深度學習環境配置docker+pycharm+gpu

docker深度學習環境篇第二彈:pycharm + docker + gpus = everything you need for dl development

docker 遠端安裝。。。,因為我自己是 遠端伺服器 + mac,所以之前找過這種配置的方法,看到靠譜的暫時也就下面這個

pycharm+docker:打造最舒適的深度學習煉丹爐

但是可能是我嫌麻煩或者是嘗試失敗?反正沒有弄成功,後來我自己一直都在用遠端 anaconda 的方法了。

另外這裡的 pycharm 也要裝 pro 版的,因為社群版的同樣不支援 docker。

以上,說的都是現在比較流行的框架,都可以直接 pip 或者 conda install 的,安裝比較簡單;但是像 caffe 這種年代稍微長遠需要自行編譯原始碼的,就稍微麻煩點了;總之還是不建議直接安裝方式,下個 anaconda 自己慢慢搞或者自己不想搞了直接 docker 去拉別人的映象也行;

老早之前在 mac 上編譯過一次 cpu 版本的 caffe,總有問題,後來放棄直接 docker 拉別人搞的 pycharm 裡面設定下 interpreter 也挺好用的(有個坑是一定要設定一下什麼環境變數好像是caffe_path)

簡單總結了下個人或者實驗室小團隊的丹爐打造方法,祝大家煉得好丹!

深度學習煉丹手冊

對於畫素級別的影象預處理,如 將3通道的rgb彩色標籤圖對映為標籤連續的單通道8bit掩碼圖,在同樣呼叫opencv並且採用相同演算法時,c 的處理速度可能是python opencv python 的近百倍。目前不清楚具體原因,但是根據觀察,實際python執行時只呼叫了單個cpu,而c 版本則將...

深度煉丹術

神經網路模型的設計和訓練十分複雜,initialization,activation,normalization,優化器,學習率 等等無不是四兩撥千斤,這篇文章主要是總結一些煉丹技巧,討論下關於如何初始化 選擇啟用函式 正則化的方式和優化器的選擇等。乙個框架看懂優化演算法之異同 sgd adagra...

Ubuntu 深度煉丹環境配置

深度煉丹最麻煩的就是環境配置了,下面過程記錄了本人進行深度煉丹環境的配置。首先是安裝圖形顯示卡驅動,按如下指令進行即可 sudo add apt repository ppa graphics drivers ppa sudo apt get update sudo apt get upgrade ...