文章講的是企業出現頻率最高的問題,你中招了嗎,
每家企業的成長都歷經磨練,踩過很多坑,走過很多彎路,在摸爬滾打中總結經驗,戰戰兢兢地前進。在dtcc大會即將召開之際,筆者有幸採訪到了一位雲端資料倉儲領域的創業者——簡麗榮,憑藉著在行業內的多年打拼和為企業提供資料技術服務的經驗,他提出了企業大資料分析方面出現頻率最高的三大類問題,你中招了嗎?
▲酷克資料 簡麗榮
簡麗榮,hashdata(一家專注於雲端資料倉儲的初創公司)的聯合創始人兼ceo,開源分布式分析型資料庫apache hawq的創始committer和greenplum database的contributor。創業前,先後在ibm中國研究院、雅虎北京研發中心和pivotal中國研發中心從事分布式計算相關的研發工作,發表了多篇國際會議期刊**(包括資料庫頂級會議sigmod和計算機網路頂級會議infocom)和十多個國際專利,涉及無線網路、雲計算、hadoop和分布式資料庫。2023年清華大學計算機本科,2023年香港科技大學計算機碩士。
企業大資料分析出現頻率最高的問題,你中招了嗎?
酷克資料致力於雲端分布式資料倉儲技術,由來自pivotal,teradata,ibm,yahoo!等公司的分布式資料庫、雲計算和hadoop專家組成。公司產品為使用者提供高效能、低成本、高可用的資料倉儲解決方案,幫助企業降低大資料分析門檻。由於酷克是提供分析型資料庫的,所以簡麗榮總結了為企業提供資料技術服務時碰到的三類問題:
**高昂的軟硬體導致巨大的前期投入:無論是成熟商業資料倉儲的軟體許可,還是開源大資料系統的商業技術支援,**都不菲。在此基礎上,企業還需要購買相應硬體。最後,企業會發現整個前期投入階段耗費了大量資金。
漫長的專案實施週期,紛繁複雜的系統運維:從技術選型、概念驗證到購買硬體裝置,部署大資料分析軟體,測試調優,最後用於生產系統,整個週期跨度以年為單位計算。系統部署完畢,還需配置運維團隊,負責資料分析系統的正常執行,進行如資料備份、擴容、執行引數調優、錯誤恢復等極易出錯的工作。
it資源規劃是乙個令人頭疼的問題,特別是做未來多年的規劃:在全球經濟前景不明朗的大背景下,企業業務發展有很大的不確定性,這給規劃大資料處理所需的計算儲存資源帶來了巨大挑戰:資源配置過低,大資料系統無法及時分析業務資料和充分挖掘資料價值,企業將錯失大量商業機會;資源配置過高,造成浪費的同時增加運營成本,降低企業在行業中的競爭力。
兩大熱點探尋:以hadoop的hdfs為代表的分布式檔案系統 vs 物件儲存系統
gartner的乙份報告稱:到2023年,30%的機構將使用物件儲存作為私有部署的資料儲存系統,從而將雲架構帶入傳統資料中。簡麗榮表示,私有部署尚且如此,公有雲就更不用說了。他認為,物件儲存替代hdfs是必然趨勢,但可能還需要很長一段時間。
正因為堅信這個觀點,即使作為sql-on-hadoop的老兵,酷克資料團隊在構建下一代sql-on-cloud解決方案時,還是毅然放棄hdfs,選擇了物件儲存作為雲端資料倉儲hashdata的資料儲存層。相比於hdfs,物件儲存在支援高併發、高可用、擴充套件性、低成本、儲存永續性方面均有顯著優勢,尤其是在公有雲上面。
2、雲資料庫趨勢不可逆轉,但其安全令人堪憂
由於企業越來越多地將應用部署在雲上面,無論是交易型(oltp)還是分析型(olap)雲資料庫的需求都在快速增長,簡麗榮認為未來雲資料庫趨勢不可逆轉。
關於雲資料庫的安全,簡麗榮表示可以從兩方面看:一是資料庫系統防護。資料庫雲服務一般由專業廠商提供,這些雲服務提供商或資料庫廠商有很強的技術實力,資料庫系統的防護能力也遠高於絕大部分企業,因此能夠提供比一般企業更高的安全性和可靠性;二是資料加密。任何資料庫的資料最終都需要落盤,如何確保在資料落盤後被洩漏的情況下,資料庫的資料依舊可以得到保護,這也是雲資料庫應該考慮的問題。但由於資料加密/解密會對資料庫效能造成負面影響,目前更多的安全工作還是集中於資料庫系統防護階段。
結語
雲計算的敏捷性與低成本推動了企業基礎設施新變革。隨著企業將越來越多的應用部署在雲平台上面,產生和積累了**性增長的資料,雲端大資料分析勢在必行。
本屆dtcc,簡麗榮將帶來《雲端資料倉儲hashdata的設計與實現》為主題的分享,hashdata是乙個真正意義上的雲原生資料倉儲,其具體特性也將在大會上**,讓我們拭目以待吧!
企業培訓管理的誤區有哪些?你中招了嗎
隨著經濟全球化的發展,各國之間的經濟競爭和科技競爭日益激烈。然而,無論是經濟競爭還是科技競爭,歸根到底都是人才的競爭。企業只有不斷地使內部人才滿足甚至超越時代的發展,才能真正融入如此激烈的時代競爭,並佔據絕對的優勢地位。因此,企業培訓管理成為實現這些優勢的重要手段。但遺憾的是,由於企業對培訓管理在認...
國人的慣性思維,你中招了麼?
a有用很多數字資產,因為最近 不好,想把幣拿出來放身邊安心,於是想到硬體錢包。當購買時,想也不想挑了目前業內最貴的,潛意識覺得越貴越安全,越貴越安心。b的數字資產量少,他看a買了硬體錢包,也跟風去買,但是畢竟口袋的money有限,他就挑了個最便宜的,想著壞了大不了重新買唄,反正也不貴。c的數字資產未...
出現頻率最高的筆試題
今天我去考試就遇到這個題目了。關鍵字 c strcpy,字串,複製,拷貝,copy,筆試,試題 題目 已知strcpy函式的原型是 char strcpy char strdest,const char strsrc 1.不呼叫庫函式,實現strcpy函式。2.解釋為什麼要返回char 解說 1.s...