spark版本選型：
spark解壓安裝：
上傳spark安裝包
$cd /home/spark/soft （spark安裝包存在路徑）
$>tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz （解壓）
$>ln -s spark-2.1.2-bin-hadoop2.7 spark （方便起見可以建立軟連線）
配置環境變數：
修改【~/.bash_profile】,在檔案尾部追加以下內容：
#spark install
export spark_home=/home/spark/soft/spark
export path=$spark_home/bin:$spark_home/sbin:$path
$>source ~/.bash_profile （重新整理環境變數使其生效）
單機版搭建完成：
測試命令：$>spark-shell
日誌說明：
1）spark的開啟日誌很多可以在conf目錄下建立乙個log4j.properties的檔案來管理日誌調整日誌的級別來控制輸出資訊，開發者加入的日誌設定檔案模板為log4j.properties.template；把他複製到log4j.properties中，把下面一行修改為
log4j.rootcategory=info, console 修改為：log4j.rootcategory=warn, console
發現日誌輸出大大減少。
2）訪問的web ui在裡面也有顯示
3）spark context物件代表對集群的鏈結，簡稱sc，master是節點，local代表本地，[*]代表開啟了多少執行緒；
spark-shell --master[10] spark://master:7077
4）spark session 可以用spark代替
5）spark和sc的區別：spark命令補全以後基本都是spark-sql應用，sc補全是一些運算元；
Spark單機部署優化
在單機部署過程中，遇到的效能問題無非就是機器配置低，配置master模式提交執行也會慢，於是使用中有一些調優思路。專案環境 技術棧版本號 scala 2.10 spark 2.2.0 hadoop 2.7.x hive 0.12.0 springboot 1.4.2 jdk1.8.x 專案內容介紹 ...
單機部署ElasticSearch
單機部署elasticsearch 2.解壓.tar安裝包 tar zcvf elasticsearch 6.3.0.tar.gz3.進入到 elasticsearch 6.3.0 檔案中 cd elasticsearch 6.3.04.啟動elasticsearch bin elasticsear...
kafka單機部署
2 解壓 tar zxvf kafka 2.12 0.11.0.3.tgz c local sda kafka3 使用kafka自帶的zookeeper,修改zookeeper.properties cd local sda kafka kafka 2.12 0.11.0.3 進入kafka主目錄 ...