進入安裝sparkclient的節點
su - hdfs
vi text.txt
隨便寫幾行東西
#建立目錄
hdfs dfs -mkdir /user/hdfs/test
#上傳檔案
hdfs dfs -put test.txt /user/hdfs/test/
#檢查檔案是否在
hdfs dfs -ls /user/hdfs/test/
#檢查內容是否對
hdfs dfs -cat /user/hdfs/test/test.txt
spark在yarn上執行參見官方文件
spark-shell --master yarn --deploy-mode client
統計下scala> sc.textfile("/user/hdfs/test/test.txt").count()
res0: long = 7
scala> sc.stop()
再次重新整理spark history server頁面即可
hadoop集群監控工具ambari
apache ambari是一種基於web的工具，支援apache hadoop集群的 管理和監控。ambari目前已支援大多數hadoop元件，包括hdfs mapreduce hive pig hbase zookeper sqoop和hcatalog等。apache ambari 支援hdfs...
ambari集群Kerberos服務異常
元件列表裡面沒有kerberos元件，安全認證頁面顯示已經開啟了kerberos服務。主機元件列表裡面也沒有kerberos client元件。kdc服務正常。懷疑有人禁用kerberos服務失敗了，但是沒有查到日誌記錄。ambari.cluster表 ambari根據clusters表中secur...
ambari集群的安裝部署
修改主機名以及配置網域名稱對映 修改三颱節點的主機名，為了後面配置方便，建議使用跟我一樣的主機名 hostnamectl set hostname node1.ambari.com hostnamectl set hostname node2.ambari.com hostnamectl set h...