【摘要】 物聯網裝置正在產生大量的資料，如何為開發者提供簡單有效的資料分析服務，簡化開發過程，提公升開發效率，讓iot資料快速變現是乙個擺在我們面前的問題。
沒有疑問，我們已經身處物聯網時代了，每天都有數不清的各類物聯網裝置被連線起來，讓我們可以以前所未有的視角重新觀察和感知我們所處的這個物理世界。這個背後當然涉及到物聯網技術的各個環節，比如如何將裝置快速安全可靠的接入雲端，如何管理這些裝置，如何對源源不斷採集到的資料進行合適的處理等等。而這篇部落格我主要想分享下個人認為物聯網的資料分析可能應該是什麼樣的。
我把物聯網資料的特點和挑戰歸納如下。我覺得最主要的
4個特點是「大」，「小」，「高」，「低」。
「大」即物聯網資料體量大，我們經常聽到的乙個經典的案例即
ge發動機有成百上千個感測器
，毫秒級頻度產生各種資料。飛機的一次飛行就可以超過
1tb的資料量。而在很多任務業場景下產生的資料量可能會更大。
「小」即物聯網資料的價值密度小，或者也可以理解為要從海量的資料中找到價值的資訊是乙個比較難的事情。
「高」即物聯網資料時效性高，裝置產生的資料流往往需要及時分析處理，隨著時間的流逝，其價值會迅速降低。
「低」即物聯網資料的質量通常較低，原因是多方面的，可能跟
iot裝置自身能力有關，也可能是較苛刻的裝置部署環境，也可能是網路傳輸問題等等，最終造成物聯網資料容易出現丟失，異常，重複等問題。
面對這些特點，造成了幾個挑戰： 1.
怎樣盡可能的降低儲存的成本，企業可能通常有要求儲存好幾年資料的述求，而
iot資料體量大，幾年的儲存量很可能是乙個天文數字。那麼如何能找到盡可能的低成本儲存解決方案就是乙個不能忽視的問題。 2.
怎樣從價值密度低的物聯網資料中充分挖掘和發現資料背後的價值，該採取怎樣的有效分析方法？ 3.
提公升資料處理的時效性，在資料處理的各個環節都盡可能高效運轉，比如資料接入，資料清洗，資料入庫等。 4.
資料質量的評估和處理。如何判斷質量的優劣，並且採取合適的方法改善資料質量？
要很好應對這些物聯網資料分析的挑戰，對於
iot資料應用開發者來說可能是有一定技術門檻的，
如果不是乙個對公有雲琳琅滿目的相關大資料
paas
非常了解的開發者，很可能花了較長時間，而最終開發的解決方案較難滿足業務的要求。這裡面的原因除了開發者需要花比較大的學習成本掌握相關服務的特性外，還有乙個根本原因是那些通用的大資料產品並未是專門針對
iot資料分析所提供的。
如何才能做好乙個針對物聯網場景的資料分析服務呢？個人覺得有如下幾個要點： 1.
構建資產模型是充分「理解」物聯網資料的基礎
將iot
裝置產生的資料有效組織起來，並按照業務所需構建模型，將是物聯網資料分析中的重要一環，特別是複雜的場景更是如此。 2.
物聯網資料處理的關鍵是對時序資料的處理
按資料時效性分層處理，獲得綜合處理效率最大化
4.針對物聯網資料要有資料清洗的必要手段。傳統的etl工具主要是針對結構化資料的處理，而物聯網資料主要是非結構化或半結構化的資料，並且對清洗的實時性要求一般較高。
因此需要找到適合物聯網領域使用的資料清洗手段，我們理解該能力需要充分理解物的資料結構，即物模型，並且需要實時的清洗能力。
好了，下次再講華為雲iot資料分析具體是怎麼做的。
戳→華為開發者大賽@iot創新大賽正在報名中，百萬大獎等你來拿！
玩轉華為物聯網iotda服務系列六-恆溫空調
盤點物聯網常用開發板
為什麼說物聯網平台是城市數位化的必備底座
【我的物聯網成長記20】物聯網智慧型路燈應用**解析（下）
一條物聯網裝置控制命令的一生
認識物聯網系列 物聯網與雲計算 大資料
物聯網與雲計算 全球資料和資訊服務企業ihs報告稱，到2030年，將有1250億台連網裝置成為我們日常生活的一部分，物聯網的規模正在變得越來越大。在解決了效率與計算問題之後，人們漸漸發現這個能力也可以提供給外部使用，因此就出現了公共雲計算 把計算機的計算能力直接放在網上賣出去。雲計算相當於人的大腦，...
解析EPCglobal物聯網技術之ONS服務
瀏覽次數 489 本文關鍵字 rfid,weblogic rfid,電子標籤,無限射頻,ons,eps,物聯網 ons服務做為epcglobal倡導的物聯網框架中的重要一環，實現貨品資訊在全球範圍內的定位和共享，本文將著重 ons服務的技術原理，實現架構和應用前景。在epcglobal提出的物聯網這...
解析EPCglobal物聯網技術之ONS服務
瀏覽次數 489 本文關鍵字 rfid,weblogic rfid,電子標籤,無限射頻,ons,eps,物聯網 ons服務做為epcglobal倡導的物聯網框架中的重要一環，實現貨品資訊在全球範圍內的定位和共享，本文將著重 ons服務的技術原理，實現架構和應用前景。在epcglobal提出的物聯網這...