騰訊雲大資料發布資料生態戰略,構建開源開放數倉生態

2021-10-14 01:45:51 字數 2461 閱讀 3679

資料倉儲從2023年被正式提出,歷經近30年的發展歷程,企業對資料倉儲的重要**知愈加強烈,同時資料倉儲在企業端越來越走向成熟和理性。

企業不再停留在資料集合的高效儲存和運算,越來越聚焦於資料的場景化應用創新和資料價值釋放的最終目的,這也是資料倉儲的真正目的所在」 聶晶強調。

隨著企業關注價值點的變化及構建主體趨向於一線業務團隊的趨勢,也帶來了企業資料倉儲構建敏捷度的更高要求。基於雲計算實現分鐘級構建和擴充套件的雲原生資料倉儲設施,因為其技術先進性和交付模式的先進性,成為了當前資料倉儲技術的技術核心。

在這一過程中,伴隨當前技術持續**式演進,僅依賴企業自有it能力已經越來越難於應對當前和未來的挑戰,如何有效借助於外部資源高效地迎接未來的技術挑戰,成為企業it技術團隊長期而持續的技術難點。

最後他總結,「我們也希望基於這樣更開源開放的生態,使用者可以享受更為透明和精細化的產品和服務的能力,帶來更大的生產紅利。」

今天咱們回歸到數倉這個發展接近30年的話題,這算是乙個老話題,但今年突然大家討論非常多。在海外有近千億美金市值的數倉技術公司成功上市、在國內也有越來越多的新創技術公司和實力雄厚的技術公司進入到這個領域。

除開行業和資本的熱度之外,我們也看到從2023年數倉正式被提出以來,經過接近30年的發展歷程,企業對資料倉儲的重要**知也愈加強烈。在當前, 95%的成熟型企業已經構建了完備的企業資料倉儲架構,並且在持續依託雲計算技術和大資料技術進行技術架構演進;80%的雲端初創型企業開始把數倉決策業務前置,作為初創期與業務平台同期構建,以提公升初創型企業資料驅動業務的敏捷度。甚至,我們看到部分企業在數倉這裡的投入最高可以達到30%以上,這在2023年的數倉史前時代是幾乎不可以想象的景象。

在過去30年的資料倉儲發展之路中,資料規模和價值密度的變化激發了數倉產業的本質性革新。

隨著30年的行業演進,小型機為代表的第一代單一傳統關聯式資料庫技術已經無法適應這個時代;因此,在技術領域持續湧現出了mpp數倉、sql on hadoop、elk這樣的優秀新興技術,組成了第二代數倉技術的百花齊放時代,這個階段中,我們也看到他們的發展歷程中呈現了融合式演進趨勢,催生著數倉技術的劇烈化學反應;隨著資料倉儲在企業端越來越走向成熟和理性,企業不再停留在資料集合的高效儲存和運算,更越來越聚焦於資料的場景化應用創新和資料價值釋放的最終目的,因為這才是資料倉儲的真正目的之所在。

隨著企業關注價值點的變化及構建主體趨向於一線業務團隊的趨勢,也帶來了企業資料倉儲構建敏捷度的更高要求。傳統數倉耗時數月的構建效能在數倉發展30年後的今天,越來越成為企業的瓶頸;基於雲計算實現分鐘級構建和擴充套件的雲原生資料倉儲設施,因為其技術先進性和交付模式的先進性,成為了當前資料倉儲技術的技術核心。

如何高效構建與運營乙個穩定、可擴充套件的資料倉儲是當前企業在構建數倉中遇到的第乙個初始挑戰,這是對企業當前it技術能力和運營能力的初始挑戰,以前更多客戶會採用商業化產品和服務來應對這個挑戰,但隨著雲計算的發展,當前更多客戶會願意用雲所提供的開箱即用的數倉產品和服務來應對第乙個階段的挑戰。

隨著資料每年三倍,甚至五倍的高速增長,企業發現當前急待通過新技術、新商業模式解決當下和未來的成本挑戰,在傳統it架構下降低it綜合成本的效果較為侷限;如何消減倍增資料規模下的成本增速,成為乙個精細化運營企業無法迴避的話題。雲端資料it設施的新技術、新產品、新服務模式越來越成為企業資料it成本節約的新動能。

接下來,企業進入到資料價值獲取階段,部分企業鑑於對資料業務的場景化理解力侷限性,難於有效結合自有企業資料業務進行資料價值創新探索;在構建完資料基礎架構的企業,越來越希望向企業組織提供到平民化的資料創新力,讓企業全員都能夠參與到無限制探索資料業務創新,讓資料資產真正成為成熟業務的助推劑。事實上,企業更容易忽視的是,在當前技術持續**式演進中,僅依賴企業自有it能力,已經越來越難於應對當前和未來的挑戰,如何有效借助於外部資源高效地迎接未來的技術挑戰,成為企業it技術團隊長期而持續的技術難點。

單一主體的企業難於應對數倉領域的爆發式發展挑戰;但我們也深知,乙個脫離於生態的雲廠商也難於有效幫助到雲端的企業客戶應對這樣的未知挑戰。

今天,我們在這裡發布乙個重磅的開源開放的資料生態戰略。這個資料生態戰略包含三個層面的內容。

第二個是我們產品生態上的開放。我們將會為新創公司和商業化公司的臻選資料產品和服務提供到與自研產品同等的市場地位。讓我們的客戶享受到更為豐富和優秀的資料產品和服務。

第三個是我們服務生態的開放。我們希望服務市場也開放給我們的合作夥伴和開發者,讓大家都能發揮自己的能力服務好我們的使用者。我們的使用者也能因為這個開源開放的生態,享受到更為透明和精細化的產品和服務能力所帶來的的生產力極大提公升的紅利。

騰訊雲資料庫啟動戰略公升級 發布五大資料庫新品

戰略聚焦三大主航道 推進百萬企業全面上雲 作為企業it的核心系統之一,資料庫市場正在面臨根本性變革。在全面上雲的大趨勢下,傳統的資料庫上雲模式逐漸無法滿足客戶業務的快速擴充套件和智慧型運維需求。客戶需要的是一套能夠靈活擴充套件 智慧型診斷,支援跨雲融合的新一代雲端原生資料庫系統,未來資料庫發展方向將...

大資料生態

目前而言,不收費的hadoop版本主要有三個 均是國外廠商 分別是 apache 最原始的版本,所有發行版均基於這個版本進行改進 cloudera版本 cloudera s distribution including apache hadoop,簡稱cdh hortonworks版本 horton...

大資料技術生態體系

1 sqoop sqoop是一款開源的工具,主要用於在hadoop hive與傳統的資料庫 mysql 間進行資料的傳遞,可以將乙個關係型資料庫 例如 mysql,oracle 等 中的資料導進到hadoop的hdfs中,也可以將hdfs的資料導進到關係型資料庫中。2 flume flume是clo...