在此背景下，整車廠研發部門關心的是：如何將企業內部的研發、實驗、測試、生產資料，社會使用者的用車資料，網際網路第三方資料等結合起來，將異構資料和同構資料整合到一起，並在此基礎上，實現業務系統、分析系統和服務系統的一體化；怎樣利用深度的駕駛員行為感知、智慧型的車輛預防性維護、與實時的環境狀態互動，通過大資料與機器學習技術，建立面向業務服務與產品持續優化的車聯網智慧型分析；利用資料來為產品研發、生產、銷售、售後提供智慧型決策支撐。這些都是整車廠在大資料時代下亟待解決的問題。
針對這一需求，經緯恆潤探索出以exceeddata 大資料分析平台為核心的汽車工程大資料整體解決方案。借助exceeddata 大資料分析平台，企業可以整合、處理、分析、以及視覺化海量級別的資料，可實現對原始資料的快速利用，並將原始資料轉化成產品所需的智慧型，從而改進業務流程、實現智慧型決策的產業公升級。
產品介紹
• 技術架構
♦ exceeddata 採用分布式架構、包含整合處理（etl）與分析挖掘兩大產品功能體系，共支援超過20 多個企業常見傳統資料庫和大資料來源系統，超過50 多個分析處理演算法、以及超過豐富的視覺化智慧型展現庫。使用者可以靈活的將各種**的原始資料與分析處理串聯應用，建立科學的資料模型，得出**結果並配以互動的視覺化智慧型，快速的將大資料智慧型實現至業務應用中。
♦ 平台包括分布式大資料分析引擎、智慧型終端展示、以及api。大資料分析引擎為mpp 架構，建立在開源的apache hadoop 與apache spark 之上，可簡易的scale-out 擴充套件。在分析引擎的基礎上包含資料來源庫、資料轉換匹配器、資料處理操作庫、機器學習演算法庫、視覺化圖形庫等子模組。智慧型終端展示為行業通用的b/s 架構，使用者通過支援跨作業系統和瀏覽器的html5/js 介面與api 來與平台互動。
• 廣泛的資料型別和儲存格式支援能力
exceeddata 平台支援數值、字元、時間、向量、列表等17 種資料型別，還可支援多種hadoop 資料儲存格式，如hdfs 的檔案儲存格式和hive 的表儲存格式。為資料分析人員節省大量的資料格式轉換和檔案系統轉移的準備時間。分析員可快速的從既有資料來源中靈活的獲取資料，盡快開展資料分析任務。
• 豐富的演算法模組和直觀的程式設計環境
exceeddata 平台提供豐富的機器學習演算法，共六大類函式對資料進行彙總、分析、分類或聚類，並配以靈活的演算法流程引擎和可拉動式介面。業務人員可輕鬆地選擇和組合多個資料來源和演算法模組，快速構建分析流程，對業務進行綜合分析。
機器學習演算法包
• 網路分析型別：graph analytics
• 推薦引擎型別：recommendation engine
• 時間路徑類別：time & path
• 聚類分析類別：cluster analytics
• 決策樹分析型別：decision tree
• 樸素貝葉斯分析型別：naïve bayes
• 統計分析類別：statistical analysis
多維度大資料的分析與**演算法包
• 行為網路演算法, 包括圖譜統計等
• 中英文語言分析演算法,包括tf-idf、word2vec等
• 地理分析演算法
• 分類挖掘：邏輯回歸、向量機、樸素貝葉斯、決策樹、梯度提公升決策樹、隨機森林
• 回歸**：線性回歸、嶺回歸、套索回歸、保序回歸
• 聚類：kmeans 、高斯混合模型
• 關聯推薦：apriori、fpgrowth、alternate least squares（協同過濾）
• 時間路徑：sessionize、去重、分割槽、路徑（遍歷、順序、起始點）
• 網路地理：方塊分割槽索引、異狀邊際定位
• 統計處理：直方分布、密度分布、聚合、排序、過濾等
豐富的資料呈現方式
exceeddata 平台提供豐富的資料智慧型展現，包括折線圖、柱狀圖、餅圖、散點圖、多拿圖、堆疊圖、平行座標圖等30 多種圖示方式。可幫助業務人員進行多檢視、多層次的分析，挖掘出資料深層次的商業價值，快速發現資料背後的規律。
大資料 特徵工程
1 單變數特徵篩選 計算每乙個特徵與響應變數的相關性 工程上常用的手段有計算皮爾遜係數和互資訊係數，皮爾遜係數只能衡量線性相關性而互資訊係數能夠很好地度量各種相關性，但是計算相對複雜一些，好在很多toolkit裡邊都包含了這個工具 如sklearn的mine 得到相關性之後就可以排序選擇特徵了 2 ...
大資料工程師簡歷 成為大資料工程師所需的技能
我們大多數人對資料工程師是誰有想法，但我們對大資料工程師的角色和責任感到困惑。一旦我們開始用適當的技能集對映這些角色和職責，並找到最有效和最有效的學習路徑，這種歧義就會增加。這個 大資料工程師技能 部落格將幫助您了解資料工程師的不同職責。因此，我將用適當的技能來規劃這些職責 將引導您通過適當的學習路...
大資料工程師簡歷 成為大資料工程師所需的技能
我們大多數人對資料工程師是誰有想法，但我們對大資料工程師的角色和責任感到困惑。一旦我們開始用適當的技能集對映這些角色和職責，並找到最有效和最有效的學習路徑，這種歧義就會增加。這個 大資料工程師技能 部落格將幫助您了解資料工程師的不同職責。因此，我將用適當的技能來規劃這些職責 將引導您通過適當的學習路...