建立檔案:
在linux資料夾下,進如要檔案的目錄:輸入vi test.txt
按i輸入 文字內容,輸入完畢按esc,按:wq 儲存退出
然後在命令列執行下面的命令:
hadoop fs –mkdir –p /hadoop/input (在hdfs建立目錄)
hadoop fs –put test.txt /hadoop/input (將test.txt檔案上傳到hdfs)
hadoop fs –ls /hadoop/input (檢視上傳的檔案)
hadoop fs –text /hadoop/input/test.txt (檢視檔案的內容)
啟動spark
spark-shell
輸入下面的語句:
val file=sc.textfile(「/hadoop/input/test.txt」)
val rdd = file.flatmap(line => line.split(「 」)).map(word => (word,1)).reducebykey(_+_)
val maps = rdd.collect()
for (i <- 0 to maps.length-1)
mysql分割槽實操
分成2步 2.將原表資料插入新錶 insert into 目標表 select from 表 create table met shopv2 order copy1 id int 11 not null auto increment,orderid varchar 20 character set ...
redis備份實操
終於發布了個人的第乙個課程 redis備份實操,位址 1 不能搞出問題 虛擬機器測試環境不擔心這個啊 2 任務得在夜間進行 白天業務高峰期,不適合做維護 3 必須考慮可用性,得把資料備份到其他的系統上。我的搞法是 1 準備乙個資料校驗環境,安裝上redis,用於備份檔案匯入。通過對比生產環境redi...
redis備份實操
終於發布了個人的第乙個課程 redis備份實操,位址 1 不能搞出問題 虛擬機器測試環境不擔心這個啊 2 任務得在夜間進行 白天業務高峰期,不適合做維護 3 必須考慮可用性,得把資料備份到其他的系統上。我的搞法是 1 準備乙個資料校驗環境,安裝上redis,用於備份檔案匯入。通過對比生產環境redi...