第一天:hive是什麼,hive的體系結構,hive和hadoop的關係
mapreduce是解決hive解決不了的問題
簡單的hive能解決的問題,不需要mapreduce
做報表一般使用hive來做的。
hive是什麼?
hive是簡歷在hadoop上的資料倉儲基礎架構,他提供了一些列的工具
,可以用來進行資料提取轉換載入(etl),這是一種可以儲存
,查詢和分析儲存在hadoop中的大規模資料的機制,
hive定義了簡單的類sql查詢語言,稱為hql,它允許熟悉sql的使用者
hive的體系結構可以分為一下幾個部分:
對driver(complier,optimizer,executor)
metastore
jdbc odbc
hive可以把元資料存放在mysql中
使用者介面主要有三個:cli,client和wui,其中最常用的是
cli,cli啟動的時候,會同事啟動乙個hive副本,client是hive的客戶端
使用者連線值hiveserver,在啟動client模式的時候,
需要之處hiveserver所在的節點,並且在該節點啟動hiveserver,wui是通過瀏覽器
訪問hive
hive將元資料儲存在資料庫中,如果mysql derby,hive中的元資料
包括表的名字,表的列和分割槽及其屬性,
表的屬性(是否為外部表等),表的資料所在目錄等等。
直譯器,編譯器,優化器,完成haql查詢語句從詞法分析,語法分析
,編譯,優化以及查詢計畫的生成,生成的查詢計畫儲存
在hdfs中,並在隨後有mapreduce呼叫執行
hive的資料儲存在hdfs中,大部分的查詢有mapreduce完成
(包含*的查詢比如。。。。不會生成mapreduce任務)。
Nginx從入門到實戰
什麼是nginx?nginx engine x 是一款輕量級的web 伺服器 反向 伺服器及電子郵件 imap pop3 伺服器。什麼是反向 反向 reverse proxy 方式是指以 伺服器來接受internet上的連線請求,然後將請求 給內部網路上的伺服器,並將從伺服器上得到的結果返回給int...
大資料從入門到實戰 Hive表DDL操作(二)
二 實踐詳解 叮嘟!這裡是小啊嗚的學習課程資料整理。好記性不如爛筆頭,今天也是努力進步的一天。一起加油高階吧!hive資料定義語言 date definition language 包括 create drop alter資料庫 create drop truncate表 alter 表 分割槽 列...
PHP實戰之CURL從入門到實戰
精選30 雲產品,助力企業輕鬆上雲!curl就是利用url語法在命令列方式下工作的開源檔案傳輸工具,我們能夠通過curl從網際網路上獲得各種各樣的網路資源。下面我們一起學習一下。開啟php.ini 查詢curl模組有沒有開啟。extension php curl.dll ch curl init 初...