通過hadoop上的hive完成wordcount
啟動hadoop
start-all.sh
hdfs上建立資料夾
hdfs dfs -mkdir wcinputhdfs dfs -ls /user/hadoop
上傳檔案至hdfs
hdfs dfs -put ./dj.txt wcinputhdfs dfs -ls /user/hadoop/wcinput
啟動hive
hive
建立原始文件表
create table docs(line string);
匯入檔案內容到表docs並檢視
load data inpath '/user/hadoop/wcinput/dj.txt' overwrite into table docs;select * from docs;
用hql進行詞頻統計,結果放在表word_count裡
create table word_count as select word,count(1) as count from (select explode(split(line,' ')) as word from docs) word group by word order by word;
檢視統計結果
show tables;select * from word_count;
hive基本操作與應用
通過hadoop上的hive完成wordcount 啟動hadoop start all.sh hdfs上建立資料夾 hdfs dfs mkdir input hdfs dfs ls user hadoop 上傳檔案至hdfs hdfs dfs put test.txt input hdfs dfs...
hive基本操作與應用
通過hadoop上的hive完成wordcount 1.啟動hadoop 2.hdfs上建立資料夾 先建立user 之後建立hadoop 之後建立wcinput,之後檢視目錄 3.上傳檔案至hdfs 首先建立並編輯要上傳的檔案,我的是159.txt.4.啟動hive 5.建立原始文件表 6.匯入檔案...
hive基本操作與應用
通過hadoop上的hive完成wordcount 啟動hadoop start all.sh hdfs上建立資料夾 hdfs dfs mkdir wcinput hdfs dfs ls user hadoop 上傳檔案至hdfs hdfs dfs put file.txt wcinput hdfs...