大資料測試(開源優測)解析

2021-12-30 07:34:14 字數 1029 閱讀 9796

bi(business intelligence)即商務智慧型,它是一套完整的解決方案,用來將企業中現有的資料(原始資料或商業資料或業務資料等)進行有效的整合,快速準確地提供報表並提出決策依據,幫助企業做出明智的業務經營決策。

原始資料記錄了企業日常事務,例如與客戶互動的資訊、財務資訊,員工相關記錄等等。

這些資料可以用於匯報、分析、挖掘、資料質量、互動、**分析等等

資料倉儲是為查詢和分析而不是事務處理而設計的資料庫。

資料倉儲是通過整合不同的異構資料來源而構建起來的。

資料倉儲的存在使得企業或組織能夠將整合、分析資料工作與事務處理工作分離。

資料能夠被轉換、集成為更高質量的資訊來滿足企業級使用者不同層次的需求。

etl是extract-transform-load的縮寫(提取-轉換-載入),是乙個完整的從源系統提取資料,進行轉換處理,載入至資料倉儲的過程。

下面我們看一下etl過程完整的流程圖:

etlprocess.png

extract

提取有效的資料

transform

將提取的資料轉換為資料倉儲模式/格式

構建keys:乙個key是乙個或多個資料屬性的惟一標識例項,key的型別可以是主鍵(primary key)、外來鍵(foreign key)、替代鍵(alternate key)、復合鍵(composite key)以及**鍵(surrogate key)。這些key只允許資料倉儲進行維護管理,且不允許其他任何實體進行分配。

資料清理:在提取好資料後,則進入下乙個節點:資料清理。對提取的資料中的錯誤進行標識和修復。解決不同資料集之間的不相容的衝突問題,使資料一致性,以便資料集能用於目標資料倉儲。通常,通過轉換系統的處理,我們能建立一些元資料(meta data)來解決源資料的問題,並改進資料的質量。

load

將轉換後的資料載入資料倉儲

構建聚集:建立聚集對資料進行彙總並儲存資料至表中,以改進終端使用者的查詢體驗。

大資料測試bug 多測師

一 大資料測試bug 1 建表授權 問題 在表中給a使用者授權查詢的許可權,b使用者刪除表名,隨後b使用者又新建表名一致的表,結果為a使用者失去查詢許可權 2 資料庫空格 問題 資料庫中client name為空格,在前端頁面查詢無果 分析 a.上游業務端系統未對特殊字段及其空格做嚴格校驗。c.bi...

大資料測試方法

一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api,包括檔案讀取與訪問控制,元資料操作,鎖操作等功能 大資料分析系統的posix語義不同,實現的檔案系統api也不同,功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大,應該重點考慮應用自動化測試方法進行...

大資料測試小結

1.etl測試 etl,extract transform load 的縮寫,將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程.etl工具較多,用過的是informatica.它從目標表抽取資料載入到結果表 hive 資料庫.測試思路 a.測試抽取的符合...