win10系統Pycharm配置spark環境

2021-08-13 05:20:07 字數 861 閱讀 3624

當時學scala沒怎麼學好,先入為主,所以平時用python 寫的比較多點,剛接觸的小白失去覺得好難啊,想著我把我的過程總結下來,平時長看看比較好,每個人的情況都不同,但,,反正參考參考吧。

前提:配置好python ,hadoop (win10),安裝好pycharm.。

2.複製-貼上。將spark目錄下的 ---> python目錄下的 --> pyspark資料夾複製貼上到python目錄下的 -- >lib 目錄下的 --> site-packges裡面;

3. 在c:/users/administrator/下建立pip資料夾,在裡面新建pip.ini,內容新增:

[global]      

trusted-host=mirrors.aliyun.com            

index-url=

4.pip安裝:pip install py4j ipython

5. 新建專案。在pycharm --->run -->edit configuration -->設定路徑

pythonpath  f :\spark檔案路徑\python 和 spark_home f:\spark路徑

注意:有時候開啟edit configuration 裡面沒有檔案,特別是新建完專案的時候。這時要跑一下py檔案,然後再開啟就有內容了。

6.spark\bin下更改pyspark2.cmd檔案。第二十八行改為:

win10 系統修復

在執行系統檔案檢查器之前,請先執行收件箱部署映像服務和管理 dism 工具。dism.exe online cleanup image restorehealth然後執行 sfc scannow流程結束後,你可能收到以下訊息之一 windows 資源保護找不到任何完整性衝突。這表示您沒有任何丟失或損...

安裝win10系統

總的來說安裝作業系統分為三步 1 安裝系統需要通過bios系統進行安裝 bios是英文 basic input output system 的縮略詞,直譯過來後中文名稱就是 基本輸入輸出系統 實,它是一組固化到計 算機內主機板上 個rom晶元上的程式,它儲存著計算機最重要的基本輸入輸出的程式 開機後...

win10系統使用

一 如何刪除oem分割槽 當拿到乙個預裝win10系統的電腦後,想擴充套件c盤,發現有乙個oem分割槽,阻擋了其他分割槽壓縮出的空間傳遞過來。在沒有未來恢復系統的需求下,可以將oem分割槽刪除掉,即可打通全部空間。1 進入磁碟控制頁面 開啟執行提示,輸入 diskpart 命令,進入磁碟控制頁面 2...