一、hadoop
1.hadoop查詢檔案屬性詳細資訊:du -lh
2.如果沒有配置hadoop環境變數, 則應到hadoop的bin目錄,執行hadoop命令,如:
第一步: cd /home/hms/hadoop/hadoop-2.6.0/bin ;
第二步: ./hadoop fs -ls /userrepot
注: 「./」指本地
3.簡單hadoop命令
①查詢hadoop檔案系統中的/test路徑下檔案資訊: hadoop fs -ls /test
②檢視檔案: hadoop fs -cat /test/text.txt
4.reduce中對於list的排序, list裡的物件不能是text型別, 否則可能會一直是第乙個資料.這裡可以把物件值tostring()一下,變成string型別即可.
5.reduce中獲取map集合的value值時,不要將資料以byte陣列儲存, 否則下一次的value資料不會重新建立值空間, 而是會在上次的資料後面進行追加, 這樣取出來的資料就是有問題的.
二、hive資料庫操作語句
刪除表
drop table if exists table_name;
複製表
create table empty_table_name like table_name;
建立表
create table bigdata_analyze_seq_20151012(id int, name string, age int, tel string) row format delimited fields terminated by 『\t』 stored as textfile;
插入資料
load data inpath 『/home/analyze/seq.txt』 into table bigdata_analyze_seq_20151012
hadoop資料遷入到hive
由於很多資料在hadoop平台，當從hadoop平台的資料遷移到hive目錄下時，由於hive預設的分隔符是 為了平滑遷移，需要在建立 時指定資料的分割符號，語法如下 create table test uid string,name string row format delimited fiel...
Hadoop大資料 Hive初識
hadoop提供了大資料的通用解決方案，比如儲存提供了hdfs，計算提供了mapreduce思想。但是想要寫出mapreduce演算法還是比較繁瑣的，對於開發者來說，需要了解底層的hadoop api。如果不是開發者想要使用mapreduce就會很困難.另一方面，大部分的開發者都有使用sql的經驗。...
Hadoop大資料 Hive初識
hadoop提供了大資料的通用解決方案，比如儲存提供了hdfs，計算提供了mapreduce思想。但是想要寫出mapreduce演算法還是比較繁瑣的，對於開發者來說，需要了解底層的hadoop api。如果不是開發者想要使用mapreduce就會很困難.另一方面，大部分的開發者都有使用sql的經驗。...