配置安裝bzip2 yum -y install bzip2
1、bash anaconda3-2020.07-linux-x86_64.sh
2、回車通過
3、配置環境變數
export path=/root/anaconda3/bin:$path
4 、啟動
jupyter-notebook --ip bigdata --allow-root
bigdata是機器的名字
5、修改jupyter目錄
生成配置：jupyter notebook --generate-config
根據路徑：vi .jupyter/jupyter_notebook_config.py 開啟檔案
6、配置juypter on spark
#py-spark
# spark中的python路徑
export pythonpath=/mysoft/spark-2.3.0-bin-hadoop2.7/python:$pythonpath
export pythonpath=/mysoft/spark-2.3.0-bin-hadoop2.7/python/lib/py4j-0.10.6-src.zip:$pythonpath
export pyspark_driver_python=jupyter
export pyspark_driver_python_opts="notebook --ip=bigdata --no-browser --allow-root"
啟動pyspark可以看到登入資訊。
Spark入門系列
讀完spark官方文件後，在研究別人的原始碼以及spark的原始碼之前進行一番入門學習，這個系列不錯。spark系列 除此之外，databricks也是乙個非常不錯的 上面可以使用免費的spark集群進行 提交與測試，在youtube以及spark大會中都有其發布教程以及spark應用部署的相關細節...
spark學習系列
以spark原始碼為參照分析模式匹配及種類 graphx 核心理解 spark 核心排程理解 效能spark效能相關引數配置 搜狗實驗室 sogou labs 富貴有定數，學問則無定數。求一分，便得一分 關於博主 許鵬，花名 徽滬一郎，2000年畢業於南京郵電學院，現就業於愛立信上海，在udm部門從...
ToolBox系列工具之Detector
toolbox系列工具之detector path e target encoding 複製 比如我的c盤的test資料夾下有一堆需要轉換的檔案 夾 想轉換成utf 8編碼的格式，我可以這樣用，雙擊toolbox detector，輸入 c test e utf 8 比如我的d盤target資料夾下...