Spark實操 wordcount實現

2021-09-24 18:38:30 字數 601 閱讀 2758

建立檔案:

在linux資料夾下,進如要檔案的目錄:輸入vi test.txt

按i輸入 文字內容,輸入完畢按esc,按:wq 儲存退出

然後在命令列執行下面的命令:

hadoop fs –mkdir –p /hadoop/input (在hdfs建立目錄)

hadoop fs –put test.txt /hadoop/input (將test.txt檔案上傳到hdfs)

hadoop fs –ls /hadoop/input   (檢視上傳的檔案)

hadoop fs –text /hadoop/input/test.txt (檢視檔案的內容)

啟動spark

spark-shell

輸入下面的語句:

val file=sc.textfile(「/hadoop/input/test.txt」)

val rdd = file.flatmap(line => line.split(「 」)).map(word => (word,1)).reducebykey(_+_)

val maps = rdd.collect()

for (i <- 0 to maps.length-1)

mysql分割槽實操

分成2步 2.將原表資料插入新錶 insert into 目標表 select from 表 create table met shopv2 order copy1 id int 11 not null auto increment,orderid varchar 20 character set ...

redis備份實操

終於發布了個人的第乙個課程 redis備份實操,位址 1 不能搞出問題 虛擬機器測試環境不擔心這個啊 2 任務得在夜間進行 白天業務高峰期,不適合做維護 3 必須考慮可用性,得把資料備份到其他的系統上。我的搞法是 1 準備乙個資料校驗環境,安裝上redis,用於備份檔案匯入。通過對比生產環境redi...

redis備份實操

終於發布了個人的第乙個課程 redis備份實操,位址 1 不能搞出問題 虛擬機器測試環境不擔心這個啊 2 任務得在夜間進行 白天業務高峰期,不適合做維護 3 必須考慮可用性,得把資料備份到其他的系統上。我的搞法是 1 準備乙個資料校驗環境,安裝上redis,用於備份檔案匯入。通過對比生產環境redi...