spark
部署，環境搭建
部署spark：
一：安裝
hadoop 1.
改名 33：
master 32
：node1 34
：node2 2.
配置三者互相
ssh無密碼登陸 3.
設定環境變數。配置配置檔案
logstash與kafka：
pgsql安裝：
安裝psycopg
wget
tarxfpsycopg2-2.6.tar.gz
cdpsycopg2-2.6
yuminstall
-ypostgresql-devel*
python
setup.py
build
sudo
python
setup.py
install
來自<
>
zookeeper：
啟動：zkserver.sh start;
關閉：zkserver
.sh stop
kafka：
啟動：bin/kafka-server-start.sh ../config/server.properties
#建立乙個名為
logstashtest
的topic
./kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 2 --partitions 1 --topic logstashtest
#啟動乙個消費終端
./kafka-console-consumer.sh --zookeeper 192.168.1.61:2181 --topiclogstashtest --from-beginning
hadoop啟動：
bin/hadoop namenode -format #格式化
namenode
sbin/start-dfs.sh #啟動
dfs
sbin/start-yarn.sh #啟動
yarn
spark啟動：
sbin/start-all.sh
*******************************************
nginx啟動:
cd /usr/local/nginx
sbin/nginx -c usr/local/nginx/conf/nginx.conf
logstash啟動：
/wls/wls81/logstash-2.1.0/bin/logstash -f stdin.conf
kafka-consumer:
bin/kafka-console-consumer.sh --zookeeper10.59.17.34:2181 --topic hello-kafka
*******************************************
執行檔案：
bin/spark-submit --packages \
org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \
\wls\wls81\projects\test\kafka_wordcount.py \
10.59.17.34:2181 hello-kafka
bin/spark-submit --jars \
jars/spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar \
/wls/wls81/projects/test/kafka_wordcount.py \
10.59.17.34:2181 hello-kafka
python main.py 10.59.17.34:2181 hello-kafka
Spark開發環境搭建
二 將這個包解壓到 usr spark 目錄下 三 進入目錄 usr spark spark 2.1.0 bin 選擇需要啟動的指令碼，例如python的shell pyspark 啟動成功後如下圖所示 export spark home usr spark spark 2.1.0 path pa ...
Spark環境搭建之Spark On Yarn
注意 關閉之前的spark standalone集群 export server spark sbin stop all.sh 配置yarn歷史伺服器並關閉資源檢查 vim export servers hadoop etc hadoop yarn site.xml 配置yarn主節點的位置 yar...
搭建部落格環境部署
好吧，賊心不死，還想弄，剛好開學還有十幾天別浪費了。就幹這個，後面會有我搭建這個部落格的詳細教程和源 用的是django。安裝，簡單配置git xpower xpower cw65s 桌面 sudo apt get install git xpower xpower cw65s 桌面 git con...