為什麼你的大資料專案會失敗

2021-08-28 08:10:25 字數 3512 閱讀 8769

引言:近年來大資料、人工智慧概念喧囂塵上,各類 大資料應用 層出不窮。這些融合了海量資料、高效能計算平台、智慧型演算法、酷炫的資料視覺化效果的企業級大資料應用產品成為了企業的新的寵兒。「大平台、微應用」,「資料智慧型應用」,一時間,大資料應用建設專案如雨後春筍般湧現,但在目前大部分的商業實踐中我們看到,傳統企業斥巨資建設的大資料應用,彷彿還沒有找到商業價值的轉化點。筆者結合自身在之前某大型央企的供職經歷,從一名資訊化從業者(it狗)角度的出發,聊聊對此類問題的認識。姑妄之言,且讀且珍惜。

一、為什麼企業熱衷「大資料」、「ai」?——聊聊現象

因為,確實有用。追求效率、適應快速變化的商業競爭環境,是企業生存的必備條件。而基於海量資料的應用,能有效指導企業快速掌握使用者的個性化需求,實現精準營銷,能夠幫助企業打通資料關節,實現精準**與智慧型決策,加快企業經營運轉、提高生產效率,降低生產成本,實現資料價值變現。這些華麗的宣傳詞背後的商業價值,對於企業來說,具有致命的**。

二是大資料帶來的行業巨大衝擊力,倒逼企業數位化轉型公升級。以阿里巴巴、京東、螞蟻金融、滴滴打車等為代表的網際網路企業所帶來的行業顛覆,讓傳統企業戰戰兢兢,在這個已經到來的資料時代,不變革,就等死。

三是經過了二十年企業資訊化建設,當下已經到了收割「資料紅利」的有利時機。企業多年的資料積累以及第三方資料的開放、跨界融合,讓這場資料革命有了更為廣闊的想象空間。

四是企業形象與品牌建設需要向網際網路化轉型,需要新鮮的概念包裝,需要顯示出與潮流與時俱進的企業活力。很多企業領導說,別人都在上,我們也得上,這無可厚非。

然而,時至今日,「大資料」已經被說爛了,人工智慧也已經閃亮登場了,gartner已經把大資料從技術炒作曲線中移除了,但是大多數企業中仍然鮮見其成功案例,很多企業抓住了大資料這根稻草,但仍在泥沼中喘息。資料轉型、資料驅動,概念嗷嗷上天,落地寥寥無幾。

錢也沒少花、資料也沒少買,大資料平台也沒少建,專業團隊也沒少請,各類資源都在全力保障,資料平台也搭建起來了,資料也整合進去了,眼瞅著「大平台、微應用」的夢想要實現了,但是最終還是悲哀的發現,我們懷揣的希望與憧憬,看到的卻是資料平台為無人問津,各類基於平台之上的大資料應用在廢墟之中橫亙殘落。

二、為什麼會失敗——聊聊原因

(1)再強大的平台,也無法管理混亂的資料。大資料應用依賴於基礎的資料平台。而企業多年來積累的資料,缺乏標準的體系梳理,缺乏有效的資料管理機制,資料結構混亂,資料質量低下,好不容易梳理規範的資料進入系統,沒過多久,又再次陷入混亂。資料基礎不完備,盲目的上hadoop平台,又沒有完善的資料管控機制,最終也只能淪為廢墟無人問津。

(2)再大的資料,也無法喚醒無視它的人。it部門鼓搗著進行平台建設,到處拿著雞毛當令箭收集資料,業務人員疲於應付,這一場由it主導的資料革命,本身從源頭上,就是錯誤的。業務人員不清楚由it自己臆想搗鼓的資料應用究竟要表達什麼,讓it改個需求又費時費力,與其浪費時間,不如老樣子,跟著感覺走。

(3)再智慧型的演算法,也無法真正的理解業務。演算法和資料都是冷冰冰的,沒有溫度,它們只是工具、手段。沒有與業務融合,沒有實際的應用場景,演算法只能是院校學術**。不能帶來巨大的業務價值導向,無法實際解決使用者痛點,沒有業務人員深度的參與,無論多牛的演算法,都沒法挖掘出深刻的業務洞察。

總體而言,企業大資料建設專案最突出的問題,總結三點:1.缺乏「用資料說話」的意識與文化;2.缺乏行之有效的資料管理體系;3.業務應用引導專案建設,而非本末倒置;為了避免專案成果最終淪為資料廢墟,企業應當結合自身特點,尋找最適合自身的資料轉型之路。

三、我們怎麼辦——聊聊方法

以往的大資料建設的核心思路都是:先建平台或資料中心,構建分析工具,打造資料應用。這樣的主要問題在於,對於中小企業,由於規劃能力的不足,資料基礎不紮實,很難在初期設計好整體的全貌,會造成極大的建設風險。因此,在戰略層面,需要解決好資料應用的價值定位(解決什麼業務問題,預期達到什麼樣的目標);在執行層面,形成自上而下的推動過程,進行企業資料文化的培養建立。在方**層面,我們提出以資料應用為核心的企業大資料能力建設思路:

(1)應用先行,先輕後重。挑選實際業務中最具價值的、資料基礎較為完備的、資料分析訴求較為強烈的業務場景,進行固化。在應用逐步積累的情況下,資料平台的建設也會乙個自然而然的過程,使用者可在建設過程中,適時投入,對於反應不佳的應用可以快速調整,具有更靈活的控制權與主動權。這樣的方式,留有充分的試錯空間,可避免投入較大成本問題;

(2)先易後難,穩步推進。這類資料應用的開發,可以先從基本指標體系的建設,設定監控的kpi,監控關鍵業務經營指標,逐步實現企業的資料透明化運營。以此來建立和推動企業的資料文化與意識的培養。然後可以引入高階分析團隊(通常企業內部是不具備這樣的人才的),針對特定的業務場景,與業務人員深入協商溝通、確定關鍵業務分析目標與關鍵因素,借助演算法與分析引擎,構建業務模型,形成智慧型的資料應用產品,持續評估,不斷提公升模型的泛化效能與可解釋性,這樣可引起業務人員的極大關注度與興趣,幫助業務人員更好的進行分析與決策。讓資料應用落到實處。需要面試實戰資料的**:834325294

(3)以用促管,以管優用。用一部分,理一部分,以資料產品應用,倒逼資料管理制度的優化與完善。在資料湖大行其道,以及hadoop生態體系已完全成熟的今天,我們可以嘗試採用更加柔性靈活的資料標準規範。

(4)資料創新,人人參與。資料應用具有巨大的想象空間與創新可能,需要充分調動與發揮企業人員的主觀能動性,推動業務自主進行資料分析,讓更多的業務人員能夠通過統一的平台進行資料價值的洞察、分析,充分發揮業務人員的行業經驗(如舉辦內部的資料分析競賽),不斷發掘新的資料應用,以此促進企業數位化轉型程序。

四、工欲善其事必先利其器——聊聊工具

根據如上的思路,不難看出,資料分析與應用開發工具是其關鍵核心。此類工具,一是要能夠融合企業各類資料,具備基礎的資料管理的功能;二是簡單易上手,開發速度快,無編碼,讓支援業務使用者也能自己開發;三是需要內建高階演算法的能夠支援**、優化、自動決策與排程功能;四是能夠支撐多使用者協作的、能與其他系統無縫融合,五是高效能,同時**不宜過高。

國內外資料分析工具豐富,如sas、spss、tableau、qlik,國內如永洪、帆軟等,但能支撐複雜的智慧型演算法,又能支撐自助式分析的功能的工具相對較少,再此筆者冒昧推薦由美林資料自主研發的tempo大資料分析平台。該平台內建視覺化、挖掘的一體化資料分析模組,可使用tempo快速完成大屏、儀錶盤的製作,也可拖曳式的實現複雜的機器學習演算法流程的建立,構建自主的**性資料產品。目前 tempo大資料分析平台 在工業大資料領域、金融行業、有著較為廣泛的應用,有興趣的可訪問 了解。

五、結語——聊聊未來

在不遠的將來,大資料平台將會成為堅實的管道,而資料應用將逐步向輕量級、場景化、實時性、智慧型化的方向發展,人們在關注資料應用的業務價值的同時,也將追求更便捷、開箱即用的應用體驗,會按角色進行場景的細化,會更追求實時、高效,會更加關注智慧型化的互動體驗,此外更會與其他系統整合,形成以分析-決策-行動為閉環的應用鏈條,星星之火,可以燎原,乙個個微小靈活的資料應用,勢必將在曾經的廢墟之上,熠熠生輝。

希望大家多多關注,你的關注是我最大的動力

為什麼大型專案會失敗?

為什麼大型專案會失敗?這個問題困擾了許多軟體開發者和軟體公司很多年。首先何為大型專案,有一種觀點就是超過了10000行有效 的就可以稱作為專案,而超過100000行 的專案就可以稱作大型專案了。另一種觀點是認為,超過500個人月的專案就可以認為大型專案了。更有甚者,大型專案基本上不用人月來計算,直接...

為什麼很多大資料專案搞著搞著就黃了?

大資料正在改變世界。但是,大多數大資料專案搞著搞著就黃了,很難成功。這是為什麼呢?企業正努力在產品中部署大資料,這一點是毋庸置疑的。但是,根據gartner在2016年下半年發布的新聞稿 只有15 的企業將其大資料專案部署到生產中。gartner在選詞時非常謹慎,這並不意味著剩下的企業沒有實踐,或者...

你的創業公司為什麼失敗

20個血淚教訓 你的創業公司為什麼失敗 據估計,每10家創業公司中就有 9家會失敗,這也是為什麼失敗剖析文章層出不窮,成為矽谷的陳詞濫調。這類文章有些寫得坦誠 勇敢 發人深思,還有一些就只知道推卸責任,或是根本不認為自己有什麼應該檢討之處。當創業家發表失敗剖析時,他們往往最青睞由twitter公司聯...