因為資料量的原因，公司安排我去搭建乙個使用presto查詢引擎的環境，幾經周折，勉強搭建了乙個出來，在這裡做一下經驗總結。
環境：vm虛擬機器，安裝centos6.6，mysql5.6
安裝的軟體包：
apache-hive-1.2.1-bin.tar.gz，sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz(注意，這個包只對應hadoop2.*)
hadoop-2.6.0-cdh5.4.4.tar.gz(hadoop包有cdh和apache的，不過國內用的cdh比較多)
安裝的過程按照基本的文件就超不多了，但是有需要注意的地方（防火牆要注意）
1、hive版本當前使用需要啟動metastore和hiveserver2服務，注意是hiveserver2的服務，新版本裡面對hiveserver已經停止使用，但是命令依然存在，報classnotfoundexception（hive.site.xml配一下thrift的埠和url，提供presto使用）
2、在啟動hive的時候偶爾會報exec.*.jar這中錯誤，注意/etc/profile下的hive_home是否有正確配置，執行source /etc/profile即可
3、squoop提供對hive匯入資料的功能，但是已經存在的表無法進行匯入，需要在hadoop/bin下執行 hadoop fs -ls檢視當前hdfs已經存有的表資料，通過 hadoop fs -rmr ***進行***資料的刪除
4、presto注意在etc/catalog下配置需要連線的庫的properties檔案，在etc/config.properties下注意寫入連線的物件的properties檔名
5、想到了再寫...
結果 ：
通過2個虛擬機器，乙個master節點，乙個node節點進行資料的查詢，1kw的資料量，12欄位的寬表，
通過執行select count(1) 進行查詢 (平均)
mysql : 13s
hive : 7s
presto : 5s
結果presto的速率不是很理想，目前可能影響其效能的原因是在虛擬機器上面效果的是同乙個機子的io，cpu效能，達不到分布式系統的真正效果，這個待以後通過實機去測試
最小得分和
最小得分和 本題一 看資料範 圍就知道 大概是o nlo gn 的 演算法,然 後很自然 就想到了 二分，但 關鍵是怎 麼判 斷本題一看資料範圍就知道大概是o nlogn 的演算法,然後很自然就想到了二分，但關鍵是怎麼判斷 本題一看資料 範圍就知 道大概是 o nl ogn 的演算法,然後很自 然就...
大資料查詢引擎 PrestoDB
presto是facebook最新研發的資料查詢引擎，可對250pb以上的資料進行快速地互動式分析。據稱該引擎的效能是 hive 的 10 倍以上。prestodb 是 facebook 推出的乙個大資料的分布式 sql 查詢引擎。可對從數 g 到數 p 的大資料進行互動式的查詢，查詢的速度達到商業...
docker安裝prestodb大資料查詢引擎
1.dockerprestodb sandbox sudo docker pull ahanaio prestodb sandboxsudo docker images可以看到下面的資訊大概3g左右的映象 repository tag image id created sizeahanaio pre...