presto與hbase的架構特別相似。都是主從架構思想。由於我們使用的hive只是把sql語句翻譯成mapreduce，然後再交給yarn去執行，我們都知道，yarn執行過程中，會產生資料落地，進而影響效率。因此我們通常用presto與hive做乙個整合，presto是完全記憶體計算，presto整合hive就是去hive中元資料，當presto拿到hive的所有元資料後，就是拿到所有的表在hdfs的儲存位置，進而基於記憶體運算的資料來源就是在hdfs上。
presto查詢引擎是乙個主從的架構，由乙個coordinator（調解員/主節點）節點，coordinator在啟動的時候會啟動乙個內嵌的發現服務（discovery server），coordinator可以通過個發現服務知道有多少worker節點，而worker節點可以通過這個發現服務知道coordinator是誰，discovery server通常內嵌於coordinator節點中。coordinator負責解析sql語句，生成執行計畫，分發執行任務給worker節點執行。worker節點負責實際執行查詢任務。worker節點啟動後向discovery server服務註冊，coordinator從discovery
大資料分析引擎之presto簡介
簡介 presto是乙個大資料分析引擎，不屬於hadoop體系，他是基於記憶體的。他的集群模式是主從式的。他可以與任何的大資料儲存引擎做整合，整合的時候使用它的connectors整合 從這裡我們可以他可以和kafka mysql 記憶體 hive來做整合 安裝 1.解壓 tar zxvf pres...
Apache Kylin大資料分析引擎
apache kylin kylin最開始由 ebay公司貢獻給開源社群。apache kylin支援你通過3個步驟以亞秒級的延遲查詢巨量的資料集合。1.在hadoop上定義乙個星型資料結構schema。2.根據定義的表來建立資料立方體。3.通過odbc,jdbc or restful api用標準...
資料分析 資料分析概述
了解業務 了解資料 確認業務和資料 預期分析和管理 資料分析方式01.了解資料資料 1.測量標度型別 屬性本源並不是數字或者符號，通過測量標度將數值或者符號和物件的屬性建立關聯。屬性的型別 測量尺度 nominal 標稱 等於或者不等於 一對一的變換 ordinal 序數 大於或者小於 單調函式的變...