大資料學習根據應用目標,主要可以劃分為哪三個階段?

2021-09-16 12:57:03 字數 1007 閱讀 3571

1)大資料基礎設施建設階段:這個階段的重點是把大資料存起來,管起來,能用起來,同時要考慮大資料平台和原有業務系統的互通聯合問題。一句話,做好全域性資料整合解決資料孤島問題!要完成大資料基礎設施系統建設開發,需要明確資料採集、儲存和分析各層核心元件的選型和使用,搭建穩定的大資料集群,或選擇私有雲方案的服務集群,與生產系統並線執行,使待分析的歷史資料和實時資料得以採集並源源不斷流入大資料系統。這個階段的關鍵技術學習包括採集爬蟲、資料介面、分布式儲存、資料預處理etl、資料整合、資料庫和資料倉儲管理、雲計算和資源排程管理等等內容。

3)大資料高階**分析和生產部署階段:在初步描述分析結果合理,符合預期目標,資料分布式管理和描述型分析穩定成熟的條件下,可結合進一步智慧型化分析需求,採用如深度學習等適用海量資料處理的機器學習模型,進行高階**性挖掘分析。並通過逐步迭代優化挖掘模型和資料質量,形成穩定可靠和效能可擴充套件的智慧型**模型,並在企業相關業務服務中進行分析結果的決策支援,進行驗證、部署、評估和反饋。這個階段的關鍵技術包括機器學習建模、決策支援、視覺化、模型部署和運維等。

在上述幾個階段的技術學習過程中,需要注意幾個關鍵問題:一是重視視覺化和業務決策,大資料分析結果是為決策服務,而大資料決策的表現形式,視覺化技術的優劣起決定性作用;二是問問自己,hadoop、spark等是必須的嗎?要從整個大資料技術棧來考慮技術選型和技術路線的確定;三是建模問題處於核心地位,模型的選擇和評估至關重要,在課堂和實驗室中,多數模型的評估是靜態的,少有考慮其執行速度、實時性及增量處理,因此多使用複雜的臃腫模型,其特徵變數往往及其複雜。

人工智慧、大資料、雲計算和物聯網的未來發展值得重視,均為前沿產業,多智時代專注於人工智慧和大資料的入門和科譜,在此為你推薦幾篇優質好文:

請問大資料需要學什麼?

自己規劃的大資料學習路線

大資料技術怎麼學習,在學習大資料之前,需要具備什麼基礎?

多智時代-人工智慧和大資料學習入門**|人工智慧、大資料、物聯網、雲計算的學習交流**

工業大資料分析,主要有哪些應用?

1.加速產品創新 客戶與工業企業之間的互動和交易行為將產生大量資料,挖掘和分析這些客戶動態資料,能夠幫助客戶參與到產品的需求分析和產品設計等創新活動中,為產品創新作出貢獻。福特公司是這方面的表率,他們將大資料技術應用到了福特福克斯電動車的產品創新和優化中,這款車成為了一款名副其實的 大資料電動車 第...

職場人是否可以通過線上學習大資料

首先,對於當前很多行業領域的職場人來說,學習一定的大資料知識是有必要的,隨著大資料技術的落地應用,職場人掌握大資料相關技術不僅會拓展自身的能力邊界,同時也會促進自身的崗位公升級。不同行業領域的職場人在學習大資料的時候往往需要有不同的方向選擇,比如對於it行業的程式設計師來說,學習大資料開發技術往往更...

職場人是否可以通過線上學習大資料

首先,對於當前很多行業領域的職場人來說,學習一定的大資料知識是有必要的,隨著大資料技術的落地應用,職場人掌握大資料相關技術不僅會拓展自身的能力邊界,同時也會促進自身的崗位公升級。不同行業領域的職場人在學習大資料的時候往往需要有不同的方向選擇,比如對於it行業的程式設計師來說,學習大資料開發技術往往更...