雲HBase建設之開篇

2022-08-28 20:51:17 字數 1044 閱讀 6939

阿里云云hbase團隊在2月份推出了雲hbase產品,此款產品的核心在集團內部已經使用了6年之久,那麼跟社群版本的hbase有怎樣的區別,我們又做了怎樣的產品化,本系列將會為使用者詳細介紹這些點。

雲hbase位址:

雲hbase的核心是基於開源社群1.1版本系列,在此之上深度改造,之前阿里在較早版本有較多的優化也會漸漸遷移到此版本中。目前在內部服務了整個集團的大資料結構化儲存需求,比如:平台類需求:日誌同步服務、監控系統等;使用者物體行為類需求:**交易、收藏夾、旺旺訊息、物聯網等;報表類需求:天貓大屏、商家報表等。這些有很大一部分是因為mysql等傳統關係型資料庫不能滿足需求,分庫分表又比較麻煩且不能根本解決問題。較大的一些網際網路公司,比如:google、facebook、alibaba在較早就尋求了新的解決方案-hbase。隨著網際網路的發展,我們遇到很多中小型公司,都有數t、數p的hbase集群,且這些集群沒有改動過一行hbase源**,出現問題後也只能乾瞪眼,服務長時間不可用甚至面臨資料丟失的風險,更加不會去改造hbase以滿足日益增長業務需求。

雲hbase團隊不會滿足就拿開源包裝,我們真正做的是需要深度改造核心,滿足日益複雜化、多樣化的大資料儲存需求。阿里從2023年初開始步入hbase的發展、建設之路,是國內最早應用、研究、發展、回饋的團隊,也誕生了hbase社群在國內的第一位committer,成為hbase在中國發展的積極布道者。過去的幾年時間,阿里累積向社群回饋了上百個patch,

在諸多核心模組的功能、穩定性、效能作出積極重大的貢獻,擁有多位committer,成為推動hbase的長遠發展的重要力量之一。

主要是兩個體系:

具體會在每個章節具體論述,由於篇幅較多,本篇部落格,只作為指引。

hbase的特性比較多,比如:ttl、離散的ttl、多版本、動態列、非同步寫等等。這些根據具體的場景結合能發揮hbase較大的優勢,也會有一些篇幅總結此類,當然也會穿插在雲hbase的建設之中。

我們也會積極貢獻回社群,我們也會積極跟進社群的新的功能,也會把社群好功能反饋到雲hbase中。

團隊建設與心理學開篇

在中國無論討論敏捷開發過程,還是cmmi,無論討論專案管理,還是人力資源管理,乃至it企業發展,我認為脫離了現實的中國國情以及it行業本身,我認為結合心理學才能更好的做好企業發展。在學習開發過程方 的時候,做好it人的管理工作,我認為換個角度考慮,一本書 程式開發心理學 銀年紀念版 我認為應該讀一讀...

隨筆 之開篇

一如病態的三個月轉眼間就過去了,對我來說2018年一直到現在都沒真正結束。2017年,大四,晃蕩了三年的我對未來沒有任何想法,只記得大家都在為畢業後準備。有的已經考了各種專業證,有的已經在外面工作了很久,還有準備考研的,那段時間才真真切切感覺到畢業的壓力。不想四年過後,依舊無所事事,自認為考研沒那個...

shell 指令碼之開篇

shell 接觸了三年時間了,期間一直在時不時的寫點指令碼,上網查資料。前些時間稍微整理了一下,準備把這些東西放到部落格裡面。寫的東西並不一定多麼高深,但是都是平常用到的,比較實用。shell 指令碼的檔名 shell 指令碼的字尾都是以 sh 結尾的,例如 test.sh。以這種字尾結尾的檔案可以...