資料科技的若干發展趨勢

2021-09-27 07:41:11 字數 1656 閱讀 6934

資料科技(data science and technology)在近二十年來越來越受重視,蓋因大部分問題都直接來自業界的真實需求。

甲骨文 open world 大會(9.15~9.19)剛剛在舊金山謝幕。來自全球各地的科技巨頭和行業客戶齊聚一堂,**了包括分布式賬本、智慧型技術、物聯網等熱門話題,以及可能對資料科技產生的深遠影響。

作為社會學實驗,位元幣、以太坊等公共賬本已經進行了諸多有益的嘗試。然而,企業使用者們在實踐中,逐漸意識到,當下的商業模式天然更為接近聯盟賬本。

如果只侷限在作為金融資料領域,fb libra 已經邁出了實質性的第一步。然而,對於更廣義的通用資料協作,目前還未達成共識。公共賬本的理念先進,卻始終繞不開擴充套件性和安全性兩座大山;聯盟賬本因為在場景上折衷,可以具備更大技術優勢,但也多侷限在新資料場景中。而幾乎所有已有資料都靜靜呆在傳統的集中式儲存裝置中——只要這些資料無法得到有效啟用,真正的大資料時代將無法來臨。。

正如筆者數年前預言,賬本科技發展會對資料庫產品提出新需求;反過來,資料庫產品也必然會主動吸收分布式賬本的科技成果。甲骨文即將推出的 blockchain table 特性是近些年少有的突破性嘗試。它提供基於區塊鏈的額外安全性保障,同時相容已有資料和特性。這恰好應對了企業級使用者的痛點:願意不斷享有新科技的益處,但絕不希望輕易改動已有資料架構。

推倒重來固然簡單易為,卻往往需要付出巨大代價,不到最後關頭萬萬不可;可以持續演化的系統才是更加優化的長效選擇。可演化性,更具挑戰,也更加體現設計者的功底。

雖然人工智慧泡沫已經消退,但長期來看,軟體代替人力是必然的趨勢。

今天的企業需要處理的資料規模和複雜度都前所未有,必然會更加依賴軟體,依賴自動化。

不同領域對資料處理的訴求不同。自動駕駛等領域更加依賴硬體的發展,因此感測器製造商可以獲得數十億的估值。對他們來說,演算法精度提高幾個百分點在商業上卻無法構成本質差異,倒不如提高訊號的採集質量。創業團隊在面對傳統生產商時很難有談判資格,後者多年積累的從產品到產業鏈的巨大優勢,很難通過演算法來彌補。

然而科技公司的資料處理場景完全不同,拼的就是計算,因此演算法、計算架構等起到的作用很大。

傳統企業在應用創新技術時往往偏向保守,越大體量的企業越是如此。現場調查顯示,相當一部分客戶並不希望新技術過多改變已有的產品特性。因此,未來數年內,智慧型技術的發展必然是從外圍到核心。先提高 devops 自動化的效率,提高安全性,然後優化資料產品的配置和執行狀態,最後才是對核心過程的並行、**。到那個時候,應用開發者無需關心資料格式,就像剛有資料庫概念的時候,簡單、自然,但是境界不同。

物聯網已經討論了三十年,但這次風口是真的要來了。

當有一件事情推動你往乙個方向去的時候,你可能需要慎重考慮;但當多件事情都指向同乙個方向時,別再猶豫!

世界等待了物聯網太久,太久的好處之一就是可以準備得更充分。幾十年前暢想物聯網場景的前輩們無法想象今天的微型裝置、泛在網路、能源技術……

大膽預言物聯網的普及將很快。隨風潛入夜,潤物細無聲。

物聯網對資料科技的挑戰是巨大的。首要的就是越來越複雜的資料型別。在過去,人們只關注結構化資料,然而網際網路上已經產生大量的非結構化資料,物聯網上更將是如此。對這些非結構化資料的挖掘在過去很難產生足夠的價值回報。在今天,這些資料被認為像石油一樣重要。掌握了新型資料探勘能力的公司將獲取超過壟斷能源行業帶來的回報。

為了支撐這些龐大的資料和處理能力,必然會出現新的資料產品(例如資料湖)。由於資料自身集中化的特點,這些產品將需要同時支援多種格式的資料,具備多種的處理方法。

PCI Express發展趨勢

作為一種晶元 對晶元 chip to chip 技術,pci express原來多用於pc機和圖形工作站,但如今,它的發展勢頭猛漲,正逐步被包括伺服器和儲存在內的其它領域所採用。人們對傳統pci體系結構頻寬 及無縫移植的要求日益增長,加上矽工藝的飛速發展,都促進了pci express 的廣泛應用。...

UTM發展趨勢

utm雖然帶給了我們很多驚喜,但是無論是做為一種初創的概念或者是一種新興的產品,其特質還遠遠沒有被充分發揮出來。在未來的若干年中,utm又會呈現出怎樣的發展趨勢呢?更加整合 我們在這裡所說的更加整合,並不是單純的整合進更多的安全功能要素,而是整合的形態也將進一步獲得發展。目前的整合式安全裝置更象一種...

大資料發展趨勢前瞻

近日,包括ccf 中國計算機學會 大資料專家委員會 idc公司 internet data center 網際網路資料中心 和gartner公司等多家國內外知名資訊科技研究機構均發布報告,對2019年乃至未來若干年的大資料產業發展趨勢做出 並對大資料令人矚目的應用領域進行樂觀而謹慎的推斷。ccf大資...