hive 中追加匯入資料的 4 種方式和簡要語法
從本地匯入：load data local inpath 『/home/1.txt』 (overwrite)into table student;
從 hdfs 匯入： load data inpath 『/user/hive/warehouse/1.txt』 (overwrite)into table student;
查詢匯入： create table student1 as select * from student;(也可以具體查詢某項資料)
查詢結果匯入：insert （overwrite）into table staff select * from track_log;
hive 匯出資料有幾種及如何匯出資料
1.用 insert overwrite 匯出方式
匯出到本地： insert overwrite local directory 『/home/robot/1/2』 rom format delimited fields terminated by 『\t』 select * from staff;(遞迴建立目錄)
匯出到 hdfs ：insert overwrite directory 『/user/hive/1/2』 rom format delimited fields terminated by 『\t』 select * from staff;
2.bash shell 覆蓋追加匯出
例如：$ bin/hive -e 「select * from staff;」 > /home/z/backup.log
3.sqoop 把 hive 資料匯出到外部
大資料學習筆記 城市計算 2
本節介紹大資料能夠怎樣幫助改進城市規劃。這個例子是利用大量計程車的gps軌跡來收集城市交通網路中有問題的設計。在這個專案中，我們的目標是使用車輛的gps軌跡 路網資料等交通資料來收集城市道路網路中有問題的設計。一些路網設計在很多年前也許是合適的，但是隨著交通流量的增長，這些路網設計可能會過時或者不那...
大資料探勘筆記2 PageRank
1.pagerank pagerank是乙個函式，為web中每個網頁賦予乙個實數值。pagerank值越高，越重要。web轉移矩陣 描述隨機衝浪者下一步的訪問行為。網頁數目為n，則m為乙個n n的方陣。網頁j有k條出鏈，則對鏈向網頁i的元素值mij 1 k。第一列表示處於a的隨機衝浪者將以1 3的概...
大資料高併發學習筆記（2）
對於大資料問題，最終都會反饋到資料瓶頸上。那麼今天就是搞得資料庫啦！木桶理論 桶裝水能力是由最短的那塊板決定的。在乙個系統中，或者說是乙個企業裡，資料時最重要的。所以我們是一定要保證資料的正確性，唯一性。資料 二八原則 80 的請求聚焦在 20 的資料上。80 的請求都是查詢 20 是增刪改。讀寫分...