編者按：hadoop於2023年1月28日誕生，至今已有10年，它改變了企業對資料的儲存、處理和分析的過程，加速了大資料的發展，形成了自己的極其火爆的技術生態圈，並受到非常廣泛的應用。在2023年hadoop十歲生日之際，infoq策劃了乙個hadoop熱點系列文章，為大家梳理hadoop這十年的變化，技術圈的生態狀況，回顧以前，激勵以後。
近十年來，隨著hadoop生態系統的不斷完善，hadoop早已成為大資料事實上的行業標準之一。面對當今網際網路產生的巨大的tb甚至pb級原始資料，利用基於hadoop的資料倉儲解決方案hive早已是hadoop的熱點應用之一。達觀資料團隊長期致力於研究和積累hadoop系統的技術和經驗，並構建起了分布式儲存、分析、挖掘以及應用的整套大資料處理平台。
本文將從hive原理、資料分析平台架構、資料分析實戰、hive優化等四個方面來分享一些關於系統架構和hive的心得和實戰經驗，希望大家有所收穫。
todo
大資料平台架構
大資料架構分為 資料採集,傳輸,儲存,排程和處理這五個部分.其中任務定期執行和任務分配,分別使用azkaban和zookeeper，大資料平台整體架構如圖1所示，由圖1可知，大資料平台的基礎是伺服器 硬體 所有計算機相關的服務均是基於伺服器 或主機 伺服器是一切服務和資料的根本，用於儲存 通訊 提供...
DKHadoop大資料平台架構詳解
大資料的時代已經來了，資訊的 式增長使得越來越多的行業面臨這大量資料需要儲存和分析的挑戰。hadoop作為乙個開源的分布式並行處理平台，以其高拓展 高效率 高可靠等優點越來越受到歡迎。這同時也帶動了hadoop商業版的發行。這裡就通過大快dkhadoop為大家詳細介紹一下hadoop大資料平台架構內...
資料分析 Hive
hive可以自由擴充套件集群的規模，一般情況下不需要重啟服務。hive支援使用者自定義函式，使用者可以根據自己的需求定義函式。hive容錯性好，節點出現問題sql依舊可以執行。shell執行資料庫語句 hive v e v表示展示log 資訊e表示直接執行sqly語句 hive f執行sql指令碼，...