主要屬性:
fs.defaultfs
hdfs://hadoop-master:8020
注意:cdh環境hdfs埠是8020,hadoop環境hdfs埠是9000
另外,注意本地hosts配置
object testhdfs
object testsparkreadhdfs
def initsparksession:sparksession = sparksession.builder()
.master("local[2]")
.config("fs.defaultfs", "hdfs:") //可以不設定
.getorcreate()
}
注意:1.檔案可能有許可權問題,sudo -uhdfs hadoop fs -chmod 777 /test
2.寫入hdfs中的是資料夾而不是檔案,字尾無效
windows下備份本地git倉庫
一般做android系統開發都在linux下,做應用開發的話,有時候windows可能更方便一點,為了方便自己管理 一般會在本地建立乙個git的倉庫。為了安全起見,就需要不時地備份git倉庫。下面介紹一下windows xp下在本地備份git倉庫的方法 約定要備份的git目錄位置 d git rep...
windows下Jconsole本地連線失敗
在myeclipse裡編寫demo程式後執行,開啟jconsole發現在本地程序列表發現只有jconsole本身,沒有期望中的myeclipse程序和demo程序。搜尋 jconsole本地連線失敗 大多數給出的答案都是 在run configurations 中 加入以下執行引數 dcom.sun...
Windows下快速搭建NodeJS本地伺服器
windows下快速搭建nodejs本地伺服器 接著就是安裝,和安裝普通軟體類似,直接下一步下一步就可以了。之後我們來驗證node是否安裝成功,win r輸入cmd來調出控制台並輸入node v和npm v來檢視node版本和npm 包管理工具 版本。接著我們來建立乙個server.js檔案,並將下...