1. 簡介:將結構化的資料檔案,對映為一張表,提供類sql查詢(hql)
儲存格式可以支援:text,sequencefile,parquetfile,rcfile等。
其中sequencefile是hadoop中的一種檔案格式,內容以序列化的kv物件來組織。
外部表:建立時,只記錄路徑,資料位置不會改變。刪除時,資料不會被刪除。
內部表:建立時,會把資料移動到指定位置。刪除時,資料也會被刪除。
預設用derby資料庫儲存元資料(建表語句等),不同使用者在不同目錄下,會擁有不同的資料庫
db:在hdfs中表現為$目錄下乙個資料夾(/user/hive/warehouse/)
external table:與table類似,不過其資料存放位置可以在任意指定路徑
partition:在hdfs中表現為table目錄下的子目錄
bucket:在hdfs中表現為同乙個表目錄下根據hash雜湊之後的多個檔案
2. 啟動啟動:hive
然後就可以直接執行,例如:>show databases;
· 服務端啟動:
啟動為前台:hiveserver2
啟動為後台:nohup hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &
· 另一台機器連線:
第一種連線方式---首先進入beeline的命令介面:beeline
然後在beeline介面執行:beeline> !connect jdbc:hive2://itcast01:10000
第二種連線方式---直接執行:beeline -u jdbc:hive2://itcast01:10000 -n root
hive啟動報錯
hive啟動報錯,上網找了很多方法初始化,刪除hive元資料庫都做了,但是還是不能啟動hive,然後我重新把hive刪除 當然xml配置可以儲存乙份 從新安裝然後再建立hive資料庫,啟動hive,成功!hive建立時mysql中hive資料庫,一定不能存在否則 會報unable to instan...
大資料 Hive 簡介
第一部分 hive簡介 什麼是hive hive是基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為一張資料庫表,並提供類sql查詢功能。本質是將sql轉換為mapreduce程式 第二部分 為什麼使用hive 面臨的問題 人員學習成本太高 專案週期要求太短 我只是需要乙個簡單的環境 ...
Hive學習筆記 簡介
大資料技術 傳輸 儲存 計算 查詢 hive 由facebook開源用於解決海量結構化日誌的資料統計。hive是基於hadoop的乙個資料倉儲工具 hive是為資料倉儲而設計的,hive本身不儲存資料,提供一種管理方式 用來進行資料提取 轉化 載入,可以將結構化的資料檔案對映為一張表,並提供類sql...