Win10下用Pycharm除錯spark任務

2021-08-31 18:20:19 字數 407 閱讀 3533

將spark包解壓 spark-2.3.1-bin-2.6.0-cdh5.7.0.tgz

pycharm的edit configurations中編輯環境變數

新增pythonpath(指向第一步spark解壓後資料夾中的python目錄)新增spark_home(指向第一步壓縮後的spark目錄)

在file -> settings中的project structure -> add contentroot新增第三步python目錄下lib資料夾下的兩個zip包

解壓後新增系統變數

win10系統Pycharm配置spark環境

當時學scala沒怎麼學好,先入為主,所以平時用python 寫的比較多點,剛接觸的小白失去覺得好難啊,想著我把我的過程總結下來,平時長看看比較好,每個人的情況都不同,但,反正參考參考吧。前提 配置好python hadoop win10 安裝好pycharm.2.複製 貼上。將spark目錄下的 ...

Win10下用Anaconda安裝opencv

在根據部落格 win10下用anaconda安裝tensorflow 配置好tensorflow後我根據部落格 windows python3.6.0 anaconda3 opencv3.2.0安裝配置 給自己的anaconda安裝opencv,成功後滿心歡喜地認為可以開始自己的專案了。沒想到spy...

不是變數 win10 在win10下安裝manim

manim是製作簡單動畫的乙個python庫,具體介紹請參考 3b1b manim github.com 例如 無論是windows或者是其它作業系統使用者的安裝方式,在鏈結中有詳細說明。下面詳細說明一下安裝步驟,重點放在win10使用者可能遇到的問題上。anaconda,texlive,ffmpe...