Linux下配置pyspark環境

解壓檔案

在啟動pyspark之前，需要設定以下環境來設定spark路徑和 py4j路徑

現在我們已經設定了所有環境，讓我們轉到spark目錄並通過執行以下命令呼叫pyspark shell

這裡就安裝最新版了

tar -zxvf /export/spark-3.1.1-bin-hadoop2.7.tgz -c /export/service/

vi ~/.bashrc

export spark_home=/export/service/spark-3.1.1-bin-hadoop2.7
export path=
$path:/export/service/spark-3.1.1-bin-hadoop2.7/bin
export pythonpath=
$spark_home/python:$spark_home/python/lib/py4j-0.10.9-src.zip:$pythonpath
export path=
$spark_home/python:$path
export pyspark_python=python3
# 注意：py4j-0.10.7-src.zip要到$spark_home/python/lib目錄檢視是否是這個名稱。不同版本的py4j的名稱會有差別
source ~/.bashrc

cd /export/service/spark-3.1.1-bin-hadoop2.7

./bin/pyspark

Linux下配置網路

cd etc sysconfig network scripts 拷貝乙份設定檔案 cp ifcfg eth0 ifcfg eth0.bak 編輯檔案 vi ifcfg eth0 onboot 是否啟動網路 bootoroto ip的設定方式 dhcp自動設定 static手動設定 新增ip位址 a...

Linux下字型配置

fontconfig會優先讀 xdg config home fontconfig fonts.conf的配置，因此自定義配置優先順序更高。沒有才會讀 etc fonts fonts.conf 之前使用texlive將textlive的字型做為系統字型後，系統的字型顯示就變的混亂了，chrome網頁...

Linux下配置vim 配置ctags

配置ctags 假設你要編譯的源 目錄位置為 worksapce weather 執行下面操作,生成tags標籤檔案 root ericsson workspace weather pwd workspace weather root ericsson workspace weather ls di...