微博一天所產生的資料根據平均值計算在100-200mb/人,主要資料以文字資料,jpg和mp4為主。
2.對物流行業進行大資料分析
以北斗/gps導航技術為基礎,物流管理部門或者應用可以使用北斗位置服務平台通過對同時產生的位置服務資訊、實時物流車輛資訊的採集,針對物流車輛的gps軌跡資料進行分析,提供在運輸途中貨運車輛的監控、管理和資料能力服務,有效的提高物流行業的執行效率,降低不必要的損失與消耗。參考**
3.大資料 人工智慧 雲計算 物聯網 區塊鏈的概念及相互關係
大資料:是指具有高增長率,多樣化的,不能用常規手段處理,需要使用新型處理模式才能處理的**值資訊集合。
人工智慧:是人類將資料交給事先程式設計好的計算機經行計算處理,幫助人類從事生產,教育,醫療等工作。
雲計算:雲計算就是一種提供資源的網路,使用者可以隨時獲取「雲」上的資源,按需求量使用,並且是無限擴充套件的。
物聯網:即萬物互聯,基於網際網路,通過各種設施終端,讓相互獨立的物件進行資訊互動的網路。
區塊鏈:從本質上講,它是乙個共享資料庫,儲存於其中的資料或資訊,具有「不可偽造」「全程留痕」等特徵。但是到目前,各個領域對於區塊鏈沒有乙個明確的定義。
相互關係:1.大資料會把資訊傳輸給雲計算平台進行處理。2.人工智慧從雲計算平台獲得儲存的資料。3.物聯網的正常執行需要通過大資料的支援。
4.大資料的職業前景
目前從事大資料工作有幾個發展方向:
1.大資料分析師
2.大資料架構師
3.大資料開發工程師
4.大資料工程師
1 大資料第一次作業
一 列舉hadoop生態的各個元件及其功能 以及各個元件之間的相互關係,以圖呈現並加以文字描述。元件1 hdfs,作用 分布式檔案系統,儲存是hadoop體系的基礎。元件2 mapreduce,作用 作為一種計算模型,用來大資料的計算。元件3 yarn,作用 改善mapreduce的缺陷,是另一種資...
第一次作業大資料概述
對比hadoop與spark的優缺點。spark是乙個快速 通用且可擴充套件的大資料分析引擎。spark生態系統已經演變成一系列子專案,包括sparksql spark streaming graphx mllib等。spark是乙個基於記憶體計算的大資料平行計算框架。spark基於記憶體計算,它改...
第一次作業
1.用較低的成本,開發出滿足客戶需求的軟體,開發的軟體可靠性高,易於維護和移植 2.分為設計階段,開發階段和測試執行階段 1 設計階段 分析客戶需求,明確要解決哪些問題,實現哪些功能,以及確定基本方法 2 開發階段 a.概要設計 畫出流程圖,進行模組化劃分,建立模組的層次結構以及呼叫關係 b.詳細設...