注:未完成,待修改
利用虛擬機器實現linux作業系統上的spark+hadoop大資料集群,並進行一些簡單的實驗。主要包括
1 單節點hadoop環境搭建
2 多節點(集群)hadoop環境搭建
3 spark安裝及pyspark的使用
4 spark standalone cluster的使用
jdk 8
hadoop 2.7.7
sprak 2.4.0
scala 2.11
spark+hadoop集群搭建:(零)簡介與說明
spark+hadoop集群搭建:(一)單一節點上搭建hadoop環境
spark+hadoop集群搭建:(二)集群節點上搭建hadoop環境
spark+hadoop集群搭建:(三)在hadoop集群上安裝spark
1 python+spark 2.0+hadoop機器學習與大資料實戰. 林大貴. 清華大學出版社
2 spark快速大資料分析, holden karau, andy konwinski等, 人民郵電出版社
3 **spark核心技術與案例實戰, 郭景瞻, 電子工業出版社
4 普通使用者ssh無密碼互信建立 出現的問題以及解決辦法
spark,hadoop集群安裝注意
spark 2.0分布式集群環境搭建 python版 安裝hadoop並搭建好hadoop集群環境 偽分布式和分布式都遇到這個問題 報如下問題 namedtuple missing 3 required keyword only arguments verbose rename 解決辦法 vim h...
redis搭建集群(偽集群)
1 建立6個資料夾 2 複製redis.conf檔案,並修改redis.conf 配置檔案 3 建立集群 4 連線客戶端 5 檢視狀態 建立 6個資料夾來存放redis.conf,因為redis集群最小需要的是,三組三從,每個資料夾代表一台伺服器,6007跟6008可忽略 先複製乙個到6001資料夾...
mongodb集群搭建
只有一台ubuntu機器,配置方案 1 3個分片sharding 2 每乙個分片由3個節點構成1主2備的replica sets 3 3個配置節點configsever 4 1個路由節點mongos shard server mongod 例項,用於儲存實際的資料塊,實際生產環境中乙個shard s...