乾貨 盤點國內真正的大資料分析產品

2021-09-07 19:17:09 字數 3446 閱讀 1570

下面簡單介紹幾款比較有代表性的大資料分析平台:

1、 cloudera

作為全球認知度最高的大資料平台公司,國內90%的版本基本都是在cdh的基礎上封裝的,對社群的掌控力最大。與國際軟體**商聯手,產品涵蓋大資料平台、etl、高階分析、資料視覺化等各個方面。cloudera提供乙個可擴充套件、靈活、整合的平台,可用來方便的管理您的企業中快速增長的多種多樣的資料,從而部署和管理hadoop和相關專案、操作和分析您的資料以及保護資料的安全。cloudera manager是乙個複雜的應用程式,用於部署、管理、監控cdh部署並診斷問題,cloudera manager提供admin console,這是一種基於web的使用者介面,是您的企業資料管理簡單而直接,它還包括cloudera manager api,可用來獲取集群執行狀況資訊和度量以及配置cloudera manager。

還有比如像statistica,乙個整合資料分析、圖表繪製、資料庫管理與自訂應用發展系統環境的專業軟體,不僅提供使用者統計、繪圖與資料管理程式等一般目的的需求,更提供特定需求所需的資料分析方法;actian分析平台具備高可用性能,可自由部署在私有雲或者混合雲平台,授權模式靈活、即席查詢分析等特定,特別大大的擴充套件了hadoop的效能限制,幫助企業將大資料轉換為商業價值;informatics平台是一套完善的技術,可支援多項複雜的企業級資料整合計畫,包括企業資料整合、大資料、資料質量控制、主資料管理、b2b data exchange、應用程式資訊生命週期管理、複雜事件處理、超級訊息和雲資料整合等。

2、 星環transwarp

基於hadoop生態系統的大資料平台公司,國內唯一入選過gartner魔力象限的大資料平台公司,對hadoop不穩定的部分進行了優化,功能上進行了細化,為企業提供hadoop大資料引擎及資料庫工具。底層基於spark,支援sql on hadoop,支援sql2003標準語法,支援oracle,db2,teradata的儲存過程,支援acid分布式事務處理,支援高效記憶體、ssd計算,以及支援視覺化許可權管理,計算資源配置,使用者安全授權管理以及行級安全控制。放上一張transwarp data hub的架構圖:

3、 阿里數加

阿里雲發布的一站式大資料平台,覆蓋了企業數倉、商業智慧型、機器學習、資料視覺化等領域,可以提供資料採集、資料深度融合、計算和挖掘服務,將計算的幾個通過視覺化工具進行個性化的資料分析和展現,圖形展示和客戶感知良好,但是需要**阿里雲才能使用,部分體驗功能一般,需要有一定的知識基礎。maxcompute(原名odps)是數加底層的計算引擎,有兩個維度可以看這個計算引擎的效能,乙個是6小時處理100pb的資料,相當於1億部高畫質電影,另外乙個是單集群規模過萬台,並支援多集群聯合計算。

4、 華為fusioninsight

基於apache進行功能增強的企業級大資料儲存、查詢和分析的統一平台。完全開放的大資料平台,可執行在開放的x86架構伺服器上,它以海量資料處理引擎和實時資料處理引擎為核心,針對金融、運營商等資料密集型行業的執行維護、應用開發等需求,打造了敏捷、智慧型、可信的平台軟體。

包含了開放社群的主要軟體及其生態圈中的主流元件,並進行了大量優化,fusioninsight stream是fusioninsight大資料分析平台中的實時資料處理引擎,以實踐驅動模式處理實時資料的大資料技術,解決高速事件流的實時計算問題,可以在金融、通訊、交通、公共安全等領域發揮流式事件實時處理優勢,提供實時分析、實時決策能力。附上一張該平台的架構圖:

其一大特點是智慧型,具備百萬的建模框架,精準洞察使用者行為與特徵,支援使用者資料進行超百萬維度的資料建模,深刻洞察使用者的行為和特徵,為企業的商業決策,以及新業務商機的挖掘,提供更加科學、全面的業務支援。

5、網易猛獁

網易猛獁大資料平台是一站式的大資料應用開發和資料管理平台,包括大資料開發套件和hadoop發行版兩部分。大資料開發套件主要包含資料開發、任務運維、自助分析、資料管理、專案管理及多租戶管理等。大資料開發套件將資料開發、資料分析、資料etl等資料科學工作通過工作流的方式有效地串聯起來,提高了資料開發工程師和資料分析工程師的工作效率。hadoop發行版涵蓋了網易大資料所有底層平台元件,包括自研元件、基於開源改造的元件。豐富而全面的元件,提供完善的平台能力,使其能輕易地構建不同領域的解決方案,滿足不同型別的業務需求。

附上該平台架構圖:

猛獁平台提供多租戶支援,不同租戶之間相互隔離。底層使用kerberos認證,實現了資料的安全性和隔離性。除了認證系統,利用ranger實現了細粒度許可權控制,保證了各個租戶只能檢視授權訪問的庫、表或字段。此外,平台提供審計功能,通過對使用者平台行為的記錄、分析和匯報,用來幫助事後生成合規報告、事故追根溯源,提高平台安全性。

平台基於業務場景設計的使用者操作面提高了系統的易用性,結束了平台命令行運維的繁瑣狀態。資料開發工程師和資料分析師通過簡單拖拽和表單填寫即可完成資料科學相關工作。

在大資料開發套件的資料開發模組,提供資料庫傳輸、sql、spark、olap cube、mapreduce及script各種型別任務的敏捷開發介面,任務開發者通過拖拽建立任務,方便地進行資料整合、資料etl、資料分析等資料科學工作。以資料庫傳輸為例,使用者只需將「資料庫傳輸」元件拖拽到畫布上並雙擊,通過下拉框選擇和手動輸入填寫表單,快速完成資料傳輸的任務開發。

此外,企業還能根據自身業務場景按需進行任務排程管理,使用者可以設定任務的執行順序、優先順序以及執行週期。針對任務失敗的情況,設定重試次數、重試間隔及報警規則。最後,任務產生的結果可以對接主流bi系統進行資料視覺化分析,或者直接回流到線上系統支撐輔助線上業務。

網易猛獁大資料平台作為一站式的應用開發和資料管理平台,通過大資料開發套件,將資料開發、任務運維、自助分析、資料管理、專案管理等工作通過工作流的方式有效的串聯起來,提供敏捷易用的使用者操作介面,降低了大資料分析的使用門檻,顯著的提高了資料開發工程師和資料分析師的工作效率。猛獁大資料平台在電商、**、雲課堂學習、企業工業製造等領域已廣泛應用,基於持續的需求驅動,通過多行業的業務驗證,同時豐富全面的元件,提供完善的平台能力,滿足不同型別的業務需求。

在對資料的分析處理過程中,資料的安全重要性不言而喻。猛獁平台底層使用kerberos認證,實現了資料的安全性和隔離性。除了認證系統,利用ranger實現了細粒度的許可權控制,保證了各個租戶只能檢視授權訪問的表、庫和字段。不僅如此,平台還提供審計功能,通過對使用者平台行為進行記錄、分析和匯報,用來幫助對事故追根溯源,提高了平台的安全性。

從商業資料分析產生的隨筆

今天晚上在群裡看到有以為大佬發了一篇部落格,於是感興趣點了進去,發現內容不錯。碰巧自己對資料分析感興趣,也想入手資料分析。於是梳理一下自己對資料分析的認識。今天晚上看到的部落格文章是 商業資料分析從入門到入職 1 商業資料分析綜述 資料分析的技術棧分析 給自己的定位 學習路線 應用場景 興趣是最好的...

信訪分析 大資料 常見的大資料分析模型

今天我們主要為大家講解在做大資料視覺化時,有哪些常見得到資料分析模型。資料模型可以從兩個角度來區分 資料和業務。統計資料視角的實體模型通常指的是統計分析或大資料探勘 深度學習 人工智慧技術等種類的實體模型,這些模型是從科學研究視角去往界定的。1 降維 對大量的資料和大規模的資料進行資料探勘時,往往會...

乾貨 5個維度構建電商全景大資料分析

電商是乙個伴隨資料而生的行業,資料在電商平台上高速運轉,由此也誕生了非常多的電商資訊化平台,有物流系統 鏈系統 oa系統 流量分析平台等,而各平台產生的資料都被分散在各個系統中,無法發揮出資料的價值。現在,把資料統一存放在乙個平台上,通過資料分析挖掘其中的價值,將對業務產生有效指導。接下來,我們將從...