背景：window下使用jetbrain ides，利用vmware的ubuntu虛擬機器環境
優點：1。虛擬機器執行慢，只用環境，不用ide 2。節省虛擬機器儲存空間，記憶體&硬碟
方式：window下用pycharm開啟本地**
新增乙個sftp連線
設定或者新增對映
新增遠端直譯器
上傳到遠端
第二步和第四步可以試試換著來，好用
注意：專案根目錄名最好一致
有時候需要手動同步remote和本地檔案或**（最好設定為自動同步），設定方式：
如果從遠端同步檔案到本地，就要sync了，方式：
ubuntu python指令碼後台執行 部署
在伺服器執行python指令碼，如果你按了ctrl c或者關閉了這個ssh終端 你的這個指令碼就會停止！所以你需要以後台程式的方式執行 你的這個python指令碼，可以使用nobup命令。鍵入這樣的命令 nohup python3 u py out 2 1 解釋下 nohup 和 最後的 包著的就是...
Spark指令碼提交 執行 部署
執行spark shell需要指向申請資源的standalone spark集群資訊，其引數為master，還可以指定executor及driver的記憶體大小。sudo spark shell executor memory 5g driver memory1g master spark spar...
Spark指令碼提交 執行 部署
尊重版權，謝謝分享 執行spark shell需要指向申請資源的standalone spark集群資訊，其引數為master，還可以指定executor及driver的記憶體大小。sudo spark shell executor memory 5g driver memory1g master ...