安裝並使用spark。
首先在官網上安裝對應版本，因為已經安裝了hadoop，選擇without hadoop版本。
執行解壓、修改檔名、配置檔案等操作：
sudo tar -zxf spark-2.3.2-bin-without-hadoop.tgz -c /usr/local
cd /usr/local
sudo mv ./spark-2.3.2-bin-without-hadoop/ ./spark
sudo chown -r hadoop:hadoop ./spark
cd spark/
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
export spark_dist_classpath=$(/usr/local/hadoop/bin/hadoop classpath)
vim conf/spark-env.sh
/usr/local/spark/bin目錄加入系統path：~/.bashrc，並重新整理source ~/.bashrc。
執行spark shell：
bin/run-example sparkpi
bin/spark-shell
啟動spark shell時後，在瀏覽器中輸入localhost:4040：
首先訪問本地的檔案：
訪問hdfs上的檔案
在這裡也可以不指定localhost，以下三種方式都是等價的：
Spark 安裝配置 執行模式
一 spark支援的安裝模式 1 偽分布式 一台機器即可 2 全分布式 至少需要3臺機器 二 spark的安裝配置 1 準備工作 2 安裝部署spark 三 spark執行工具 四 spark執行模式和互動式shell啟動模式 1 local 本地模式 單機執行，通常用於測試 2 standalon...
安裝Spark與Python練習
一 安裝spark 1.檢查環境 2環境變數 3.試執行python 二 python程式設計練習 英文文字的詞頻統計 1.讀檔案 2.預處理 3.統計排序與寫入 讀 def du t open demo r print t.read t.close 預處理 defycl t open demo r...
2 安裝Spark與Python練習
檢查基礎環境hadoop，jdk 配置檔案 環境變數 啟動spark 試執行python 準備文字檔案 txt 讀檔案txt open bumi.txt r encoding utf 8 read 預處理 大小寫，標點符號，停用詞 將大寫字母變成小寫字母 txt txt.lower 去除標點符號及停...