近年來,伴隨著移動網際網路、物聯網、雲計算的快速發展,大資料的價值被更多的行業企業所重視、發掘並利用,在當今的資料洪流時代,各類企業在資料的生產、儲存、清洗、應用等方面都在進行著全方位的立體創新。
大資料要依靠雲計算
降本增效
一直以來,大資料技術被認為是由硬體摩爾定律、平行計算體系創新的技術驅動,網際網路應用、智慧型地球的業務推動迅猛發展起來的,而大資料應用層面卻需要解決成本、效率、質量的多重問題,為此,大資料只有經過雲計算的降本增效才能快速發展。
雲計算將計算、儲存資源低成本、便捷化、彈性可擴充套件,為大資料這個殺手級的應用提供了可靠的保障。隨著資料越來越多、越來越複雜、越來越實時,更需要雲計算進行挖掘、提煉、過濾、分析,才能產生價值。
以hadoop為代表的雲計算技術使得對pb級的海量非結構化資料的集中處理和儲存成為可能,構建在x86平台上的mpp資料倉儲提高了橫向擴充套件性,並使得集中化地對海量結構化資料的處理和儲存成為可能,萬兆乙太網等技術使得大規模資料中心成為可能,otn技術以及近幾年對傳輸基礎設施的投入,使得跨地域大量資料的傳輸成為可能……由此可見,大資料是落地的雲,是雲應用的價值體現。
我們看到,集中式儲存、分布式資料庫為大資料提供了良好的設施保障,而大資料的發展不能再依賴於人的智慧型分析能力,它更多地需要機器具備一定的自我學習、自我成長、智慧型處理的計算能力。未來一段時間,購買裝置自建it基礎設施已經成為一種「作坊」行為,面對網際網路、移動網際網路催生的產業資訊化浪潮,需要雲計算這樣龐大集群的基礎設施,才能保證大資料的產出,才能保證價值服務的形成。
資訊保安是大資料的
首要課題
正如gartner在《大資料時代的美國資訊網路安全新戰略分析》中所述,「大資料安全是一場必要的戰爭」。大資料從其起步開始,就與安全問題如影隨形。
面對pb到zb級的海量儲存資料,無論是hadoop、sql、nosql,還是嚴格的訪問設定和隱私管理,對這些不同系統、不同應用關係、不同**的資料洪流的安全防範,都會存在資訊洩露的風險。
而且,大資料分析挖掘技術本身就是風險**之一。大資料的發展依賴於資訊挖掘、分析、清洗、整理的能力,在挖掘過程中,難免會觸及挖掘物件的個人資訊、隱私資料,甚至成為很多資訊處理公司爭相漁利的市場,這一點需要政策立法層面的資訊保護。
此外,大資料環境下的資源濫用、不安全整合等應用防護風險,身份仿冒、資訊劫持等接入風險,惡意篡改、虛擬應用融合風險等大量並存,需要從頂層設計角度關注大資料的系統風險。
美國早在2023年3月22日就將「大資料」上公升為國家戰略,甚至將大資料定義為「未來的新石油」,並將安全機制上公升到國家層面。我國也需要從立法層面規範大資料的資訊保安標準、原則、管控手段。
同時,基於雲平台的安全技術框架、安全監測技術保障、應用防護安全應用、雲端的安全審計等也是必不可少的,這樣「雲計算能力 雲儲存能力大資料技術 安全防護」才是大資料快速發展的根本。
運營商開展資料經營
大有可為
在網際網路乃至移動網際網路時代,運營商是資料交換的中心,運營商的客服系統、業務平台、網路管道都產生著大量的資料,這些資料的精準分析有利於改善客戶體驗、優化網路質量、刺激業務創新、開展精準營銷,可見,資料經營已經成為大勢所趨。
大資料為運營商帶來前所未有的機遇。一是運營商具有龐大的基礎網路,具有使用者聚合優勢,已經成為客戶應用大資料的重要入口。二是大資料對雲平台、對基礎設施的高度要求,為運營商網路平台及應用服務的全面公升級提供了廣闊的市場空間。三是運營商的資料經營將產生更靈活更創新的商業模式,安全地提供資料探勘服務,為豐富網際網路應用、中小企業發展、產業行業發展會做出更多的貢獻。
當然,運營商資料經營還存在一定的挑戰。一方面,運營商的內部系統多數存在分省建設、模型迥異、標準不統一等問題,這對大資料要求的集中整合和實時互動是個巨大挑戰;另一方面,原有高階商用系統多數具備結構化資料的處理能力,需要提公升面向網際網路應用的大量非結構化資料處理能力。
運營商已經紛紛啟動大資料經營與服務。在內部應用上,以集中資料為指引,統一頂層架構設計、集中資料統一管理、開放資料能力服務,以資料集中引領生產系統集中,促進生產系統邏輯集中和流程貫穿。在外部服務上,運營商基於iaas層基礎電信能力,開展paas、saas層產品合作,沉澱並挖掘有價值的資料服務資訊,向特定細分市場有選擇、有目標地安全開放。
大資料和雲計算是何關係?
關於大資料和雲計算的關係,人們通常會有誤解,而且也會把它們混起來說。做乙個直白解釋就是 雲計算是硬體資源的虛擬化 大資料是海量資料的高效處理。雖然上面的一句話解釋不是非常的貼切,但是可以幫助你簡單理解二者的區別。如果做乙個更形象的解釋,雲計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化之後再...
雲計算是什麼?雲計算基礎概念講解
對雲計算的定義有多種說法。對於到底什麼是雲計算,至少可以找到100種解釋。大家也不需要關注別人怎麼定義,這裡按照我理解的方式描述,雲計算概念相對於傳統模式而言,簡單來說就是通過網路方式靈活的獲取所需的計算 儲存等虛擬化出來的資源,按使用量計費,特點是動態和易擴充套件。我們可以用雲計算做以下事情 應用...
馬雲 大資料雲計算是阿里未來核心戰略
本文講的是馬雲 大資料雲計算是阿里未來核心戰略 it168 雲計算 北京時間10月8日晚間,阿里巴巴集團董事局主席馬雲和ceo張勇在年報致投資者的公開信中表示,全球化 農村經濟和大資料雲計算將成為阿里未來十年的發展大方向,並表示將不惜一切投入發展資料技術,讓資料和計算能力成為普惠經濟的基礎。狹義的電...