Windows下IDEA本地讀寫HDFS

2021-09-24 15:44:02 字數 637 閱讀 2977

主要屬性:

fs.defaultfs

hdfs://hadoop-master:8020

注意:cdh環境hdfs埠是8020,hadoop環境hdfs埠是9000

另外,注意本地hosts配置

object testhdfs
object testsparkreadhdfs 

def initsparksession:sparksession = sparksession.builder()

.master("local[2]")

.config("fs.defaultfs", "hdfs:") //可以不設定

.getorcreate()

}

注意:1.檔案可能有許可權問題,sudo -uhdfs hadoop fs -chmod 777 /test

2.寫入hdfs中的是資料夾而不是檔案,字尾無效

windows下備份本地git倉庫

一般做android系統開發都在linux下,做應用開發的話,有時候windows可能更方便一點,為了方便自己管理 一般會在本地建立乙個git的倉庫。為了安全起見,就需要不時地備份git倉庫。下面介紹一下windows xp下在本地備份git倉庫的方法 約定要備份的git目錄位置 d git rep...

windows下Jconsole本地連線失敗

在myeclipse裡編寫demo程式後執行,開啟jconsole發現在本地程序列表發現只有jconsole本身,沒有期望中的myeclipse程序和demo程序。搜尋 jconsole本地連線失敗 大多數給出的答案都是 在run configurations 中 加入以下執行引數 dcom.sun...

Windows下快速搭建NodeJS本地伺服器

windows下快速搭建nodejs本地伺服器 接著就是安裝,和安裝普通軟體類似,直接下一步下一步就可以了。之後我們來驗證node是否安裝成功,win r輸入cmd來調出控制台並輸入node v和npm v來檢視node版本和npm 包管理工具 版本。接著我們來建立乙個server.js檔案,並將下...