三、關於ubuntu上網
四、jupyter notebook使用
六、一些常用命令
七、建立虛擬環境+conda3裝python2
八、關於伺服器使用pip 安裝 pytorch安裝問題 python3.5 + cuda9.0 + cudnn7.3.1
九、使用conda/pip安裝pytorch 0.3.1教程(mac/windos/linux)
十、tensorflow-tensorboard的使用
十一、linux下後台執行python程式,並輸出日誌檔案
新增軟連線(symbol link)相當於新增乙個快捷方式,解決cannot open shared object file: no such file or directory問題。
sudo ln -s source target
sudo ldconfig /usr/local/cuda/lib64
如果要修改軟連線指向,使用-f
sudo ln -fs source target
如果是資料夾,則可以加上-n
sudo ln -fns source target
將所需要的安裝包放置在~/local/download裡
anaconda2-2019.03-linux-x86_64.sh在當前目錄下執行命令:bash anaconda2-2019.03-linux-x86_64.sh
在ubuntu16.04安裝cuda10.1時,可能會出現的問題:
extraction failed.解決方法:增加臨時資料夾的容量:ensure there is enough space in /tmp signal
caught, cleaning up
sudo mkdir /home/tmp2
sudo chmod 1777 /home/tmp2
export tmpdir=/home/tmp2
若是ubuntu上網失敗,進入瀏覽器進行如下操作,則可以進行使用了。
preferences——network settings——settings——換成手動連線使用linux檢視伺服器上的檔案以及視覺化,可以在終端裡輸入:
jupyter notebook
,終端會輸出乙個**,輸入**即可檢視伺服器上的檔案。ps,首先需要安裝jupyter才行。伺服器檢視gpu使用情況:nvidia-smi -l
檢視哪個使用者在使用:top
linux下檢視所有gpu上的使用者和gpu占用情況:watch -n 2 --color gpustat --c
(前提是安裝pip install gpustat
)
檢視資料夾記憶體:du -h + 資料夾名字
進入環境變數:vim ~/.bashrc
快速到檔案最下面一行:shift+g
重新整理環境變數:source ~/.bashrc
ubuntu的終端中輸入命令:lspci | grep -i nvidia
,會顯示出你的nvidia gpu版本資訊,不過不是很詳細。
檢視程序:ps aux | grep python
檢視cuda版本:
cat
/usr/local/cuda/version.txt
nvcc -v
cat
/usr/local/cuda/include/cudnn.h | grep cudnn_major -a 2
virtualenv -p python3 env_python
蘋果系統:linux系統:
當ubuntu是無介面的時候,可以用下面的命令來看訓練曲線。
tensorboard --logdir=dir
--host=172.24.97.29
dir是目錄,並加後面那個–host就可以了。
ps:虛擬環境必須有裝tensorboard那個包。
場景:python程式執行需要很長的時間或者需要一直在跑,或者需要列印並記錄很多資訊。
策略:後台執行程式,然後把列印資訊儲存在指定的檔案中,等程式執行結束後,再檢查輸出日誌或者實時觀察日誌。
1、一般使用
nohup python -u job.py > log.log 2>&1 &
2、只記錄異常日誌(推薦)
nohup python -u job.py >/dev/null 2>error.log 2>&1 &
3、不記錄任何日誌
nohup python -u job.py >/dev/null 2>&1 &
說明:末尾的「&」:表示後台執行程式;1、檢視程序「nohup」 :保證程式不被掛起;
「python」:是執行python**的命令;
「-u」:表示不啟用快取,實時輸出列印資訊到日誌檔案(如果不加-u,則會導致日誌檔案不會實時重新整理**中的print函式的資訊);
「job.py」:是python的源**檔案;
「log.log」:是輸出的日誌檔案;
「>」:是指將列印資訊指定到日誌檔案;
「2>&1」:將標準錯誤輸出轉變化標準輸出,可以將錯誤資訊也輸出到日誌檔案中(0-> stdin, 1->stdout, 2->stderr)。
ps
-ef|grep python
或者
ps
-ef|grep job
ubuntu的軟連線與硬鏈結
ln s 原始檔 目標檔案 建立連線 rm rf symbolic name 刪除連線 當我們需要在不同的目錄,用到相同的檔案時,我們不需要在每乙個需要的目錄下都放乙個必須相同的檔案,我們只要在某個固定的目錄,放上該檔案,然後在其它的目錄下用ln命令鏈結 link 它就可以,不必重複的占用磁碟空間,...
總結軟連線和硬連線區別,並用例項操作
軟鏈結 ln s 原檔案 目標檔案 特徵 1 相當於windows的快捷方式 2 符號鏈結,所以鏈結檔案大小都很小 3 當執行軟連線的時候,會根據鏈結指向找到真正的檔案,然後執行 4 所有鏈結檔案的許可權都是777,而真正的許可權是由指向的那個檔案決定的 5 原檔案丟失後,軟鏈結無法訪問,會報找不到...
ubuntu下ln s建立軟連線已斷解決辦法
這個問題,我今天是第二次遇到,上一次我迷迷糊糊中解決了忘記寫解決辦法。ubuntu ubuntu x542unt usr local share node v14.15.0 linux x64 lib node modules cnpm bin sudo ln s cnpm usr local bi...