【摘要】 在物聯網時代，數量龐大的「物」會產生海量資料，本文為您介紹兩種基於物聯網平台進行大資料分析的方法-實時分析和離線分析。
在物聯網時代，數量龐大的「物」會產生pb級的海量資料，傳統的資料處理服務的處理速度已無法跟上資料產生的速度。如果沒法及時分析與利用這龐大的物聯網裝置資料，就無法將資料的價值最大化，大資料分析能力的建設對物聯網企業來說又成為了乙個新的挑戰。針對這種情況，大資料處理服務應運而生。服務提供商提供大資料處理平台，為企業消除了大資料處理的效率問題和可靠性問題，讓企業能夠專注於物聯網資料的分析與利用。
物聯網大資料根據資料型別的不同，分析方式也不同。
實時資料
有些資料的實時性很強，如果沒有及時分析處理就會失去價值，甚至可能造成損失，我們稱之為實時資料。典型的實時資料報括裝置位置資訊、裝置實時狀態等，應用於實時監控、實時告警等場景，例如，車輛實時上報位置資料，實時分析後呈現到交通監控中心的大屏上，交通專家根據實時資料下達各種交通控制決策，如紅綠燈時間調整等。為了實現高實時性，我們可以採用實時流分析方案，從物聯網平台對外的資料通道中實時提取流動資料，分析和處理之後再輸出至資料通道繼續流轉，保證呈現的資料永遠是最「新鮮」的。
時序資料
有些資料實時性沒那麼強，但是和時間順序強相關，分析後的資料需要分類後按時序儲存，並提供按時序瀏覽、查詢資料的能力，我們稱之為時序資料。典型的時序資料報括裝置移動軌跡、****曲線等，應用於行為分析、趨勢**等場景，例如，基於物聯網的公路監控系統儲存了近期所有車輛的行駛軌跡，**可隨時從中提取指定嫌疑人車輛的形式的軌跡，推測出嫌疑人的目的地，從而進行包抄逮捕。時序資料的分析一般依賴於時序資料庫，資料儲存至時序資料庫進行分類與排序，再由其他應用或服務從資料庫中獲取進行進一步處理。
離線資料
還有一些資料，對於實時性和有序性的要求都沒那麼強，分析時資料已經固化，我們稱之為離線資料。典型的離線資料報括產品銷量資料、景點遊客資料等，應用於統計分析，總結盤點等場景，例如，物聯網平台將自動售貨機上報的銷售資料彙總後儲存，然後定期使用大資料分析平台分析銷售資料，以報表形式呈現給廠家，協助廠家進行銷售策略的調整。離線分析的挑戰主要在於龐大的資料量，一般會採用分布式處理的方案來提公升海量資料分析的效率。
在本文中，我們將為您重點介紹實時分析和離線分析兩種方案，時序分析方案我們下次再分享（具有物聯網時序分析能力的華為雲資料分析服務後續也將上線，敬請期待）。
首先，讓我們了解一下這個方案使用的服務。
資料視覺化服務（dlv）：資料視覺化服務（data lake visualization）是一站式資料視覺化平台，適配雲上雲下多種資料來源，提供豐富多樣的2d、3d視覺化元件，採用拖拽式自由布局，旨在幫助您快速定製和應用屬於您自己的資料大屏。
該方案的資料流向如下：
物聯網平台將裝置上報的資料通過規則引擎功能**至資料接入服務（dis）。
實時流計算服務（cs）從dis的通道中獲取實時資料，通過sql語句分析並處理後，再寫入另乙個dis通道。
dis以物件儲存服務（obs）為中介將分析結果轉儲至資料倉儲服務（dws）。
資料視覺化服務（dlv）讀取分析結果呈現為視覺化報表。
實現該方案，您需要進行以下操作：
在dws中建立乙個集群並完成基本配置。
建立兩條dis通道，我們分別稱之為輸入通道和輸出通道，然後為輸出通道建立乙個轉儲任務，將資料轉儲至dws的集群。轉儲時會使用obs桶臨時儲存轉儲資料，若沒有obs桶請建立乙個。
在裝置接入服務中建立一條規則，將裝置上報資料**至dis的輸入通道。
在cs中建立乙個作業，實現從dis輸入通道中獲取資料，分析處理後輸出至dis輸出通道的功能。
在dlv中建立資料連線從dws中獲取資料，再建立資料大屏將資料視覺化展示。
將上報資料的裝置接入物聯網平台（裝置接入服務），並控制其上報資料。
首先，讓我們了解一下這個方案使用的服務，前面已經介紹過的服務此處不再重複介紹。
mapreduce服務：mapreduce服務（mrs）是乙個在華為雲上部署和管理hadoop系統的服務，一鍵即可部署hadoop集群。mrs提供租戶完全可控的企業級大資料集群雲服務，輕鬆執行hadoop、spark、hbase、kafka、storm等大資料元件，並具備在後續根據業務需要進行定製開發的能力。
該方案的資料流向如下：
物聯網平台將裝置上報的資料通過規則引擎功能**至資料接入服務（dis）。
dis使用物件儲存服務（obs）作為中介，再將資料轉儲至mapreduce服務（mrs）。
mrs從obs獲取使用者定製的分析程式包，執行程式分析資料，並儲存分析結果（可寫入持久化資料庫或寫成檔案）。
資料視覺化服務（dlv）讀取分析結果呈現為視覺化報表。
實現該方案，您需要進行以下操作：
在mrs中建立乙個hadoop分析集群。
參考mrs的開發指南開發乙個大資料分析程式，實現讀取json格式的資料分析並處理，然後寫入本地資料庫或者寫成檔案存到obs。程式開發完成後需打包成jar檔案並上傳至obs桶，若您沒有obs桶請建立乙個。
建立一條dis通道，然後為該通道建立乙個轉儲任務，將資料轉儲至mrs的集群。
在裝置接入服務中建立一條規則，將裝置上報資料**至dis的通道。
將上報資料的裝置接入物聯網平台（裝置接入服務），並控制其上報資料。
在mrs中建立乙個作業，執行obs桶中的大資料分析程式。
在dlv中建立資料連線從mrs資料庫或obs中讀取資料，再建立資料大屏將資料視覺化展示。
詳細操作指導請參考各個服務的幫助文件，本文不再贅述，但針對這個方案中的其中一種場景，我們提供了包含詳細操作步驟和**樣例的物聯網微認證，若您感興趣，可購買微認證快速體驗物聯網大資料分析流程。
>>點我訪問微認證頁面
如果讓你手寫個棧和佇列，你還會寫嗎？
挑戰10個最難的j**a面試題（附答案）【上】
j**ascript基礎修煉(13)——記一道有趣的js腦洞練習題
【我的物聯網成長記3】如何開發物聯網應用？
python面試的一些心得，與python練習題分享
如何進行物聯網大資料分析？ 我的物聯網成長記
摘要 在物聯網時代，數量龐大的 物 會產生海量資料，本文為您介紹兩種基於物聯網平台進行大資料分析的方法 實時分析和離線分析。在物聯網時代，數量龐大的 物 會產生pb級的海量資料，傳統的資料處理服務的處理速度已無法跟上資料產生的速度。如果沒法及時分析與利用這龐大的物聯網裝置資料，就無法將資料的價值最大...
當物聯網遇上邊緣計算 我的物聯網成長記
摘要 針對裝置直聯雲端方案的痛點，將邊緣計算概念引入物聯網解決方案的iot邊緣服務應運而生。本文將會為您介紹iot邊緣的能力與價值。邊緣，指實體或邏輯概念中離中心較遠，靠近邊界的部分。在資料處理領域，邊緣計算的概念源於雲計算，是指在靠近資料來源的一側搭建集網路 計算 儲存 應用核心能力為一體的計算節...
5G 將如何引爆物聯網爆發式的發展
物聯網 iot 實現物與物 物與人，所有的物品與網路的連線，方便識別 管理和控制。物聯網提了有 10 年了為什麼一直沒有得到快速的發展，當 5g 網路標準提出後，才引起大家的普遍關注，為什麼只有 5g 才會引爆物聯網發展？如果說過去 10 年是屬於網際網路行業的，那將來的 10 年則是屬於物聯網的。...