hive處理的資料都儲存在hdfs上
hive分析處理資料的底層實現是mapreduce
執行程式執行在yarn上
使用者介面:client
元資料:metastore
元資料報括:表名、表所屬的資料庫(預設是 default)、表的擁有者、列/分割槽字段、 表的型別(是否是外部表)、表的資料所在目錄等;
hadoop
使用hdfs進行儲存,使用mapreduce進行計算
驅動器:driver
解析器(sql parser):將 sql 字串轉換成抽象語法樹 ast,這一步一般都用第 三方工具庫完成,比如 antlr;對 ast 進行語法分析,比如表是否存在、字段是否存在、sql 語義是否有誤。
編譯器(physicalplan):將ast編譯生成邏輯執行計畫。
優化器(queryoptimizer):對邏輯執行計畫進行優化。
執行器(execution):把邏輯執行計畫轉換成可以執行的物理計畫。對於hive來說,就是mr/spark。
從NSObject開始了解isa
幾乎所有的類都是繼承自nsobject開始實現的,所有這篇文章我們也將從nsobject類開始來了解物件的建立及isa,文章也將從runtime原始碼開始讓讀者了解isa究竟是什麼東西。nsobject object nsobject alloc init nsobject object id ns...
一文帶你了解數倉智慧型運維框架
摘要 本文將針對gaussdb dws 內排程器的底層運作原理進行簡單說明,並針對排程模式擴容重分布進行介紹。隨著gaussdb dws 的快速發展,gaussdb dws 目前整合了眾多運維操作,其中大部分運維操作均需占用使用者資源,如io mem cpu 網路 磁碟空間等,且無法依據使用者業務負...
了解區塊鏈,從挖礦開始
2014年那一陣,花了些錢,買了4塊r9 290x顯示卡組裝了乙個台式電腦,準備挖萊特幣,由於家人的反對,一直沒有開機,後來嫌佔地方 買不到大電源,買了兩個電源,因此得用大機箱,這樣一來,標準idc機櫃放不下 把顯示卡當二手賣掉,再買個機箱,留下一塊品相不好的顯示卡,當辦公電腦用了。這居住的小區,沒...