什麼是大資料？
大資料是乙個大的資料集合，通過傳統的計算技術無法進行處理。這些資料集的測試需要使用各種工具、技術和框架進行處理。大資料涉及資料建立、儲存、檢索、分析，而且它在數量、多樣性、速度方法都很出色。
大資料測試型別
測試大資料應用程式更多的是驗證其資料處理，而不是測試軟體產品的個別功能。當涉及到大資料測試時，效能和功能測試是關鍵。
在大資料測試中，qa工程師資料處理可以是三種型別：批量、實時、互動。
與此同時，資料質量也是大資料測試的乙個重要因素。它涉及檢查各種字段，如準確性，重複，一致性，有效性，資料完整性等。
大資料測試步驟
下圖給出了測試大資料應用程式階段的高階概述：
大資料測試實現被分成三個步。
1：資料階段驗證
♦ 來自各方面的資料資源應該被驗證，來確保正確的資料被載入進系統
♦ 將源資料與推送到hadoop系統中的資料進行比較，以確保它們匹配
♦ 驗證正確的資料被提取並被載入到hdfs正確的位置
該階段可以使用工具talend或datameer，進行資料階段驗證。
step 2："mapreduce"驗證
在這個階段，測試者在每個節點上進行業務邏輯驗證，然後在執行多個節點後驗證它們，確保如下操作的正確性：
♦ map與reduce程序正常工作
♦ 在資料上實施資料聚合或隔離規則
♦ 生成鍵值對
♦ 在執行map和reduce程序後驗證資料
step 3：輸出階段驗證
生成輸出資料檔案，同時把檔案移到乙個edw(企業資料倉儲)中或著把檔案移動到任何其他基於需求的系統中。在第三階段的活動包括：
♦ 檢查轉換規則被正確應用
♦ 檢查資料完整性和成功的資料載入到目標系統中
♦ 通過將目標資料與hdfs檔案系統資料進行比較來檢查沒有資料損壞
大資料測試完整流程
遵循：需求調研+分析---->測試策略計畫制定---->測試用例編寫--->執行測試----->線上驗證測試----->測試總結的流程。
1、需求調研+分析
測試若不清楚需求的背景現狀是無法真正做好測試、保證產品質量的。
需求分析的越透徹，後續的工作就越順利。這個步驟是需要產品、開發、測試相互補充輔助完成。
2、測試策略計畫制定
通過開發的技術架構評審會，測試會了解開發的架構邏輯，表結構設計，開發排期，從而制定測試策略方法，測試重點，測試工具選用，測試排期，風險預估等
3、編寫及評審測試用例
測試用例需要覆蓋所有的測試場景：
正常的，異常的、功能邏輯的，介面的、效能的等等.
測試用例的目的：
從來就是為了更好執行測試，更好的保證執行測試時的高覆蓋率和高通過率，絕對不是為了寫用例而寫用例。
測試工具的選擇遵循兩個重要標準：
（1）清晰展現測試思路和邏輯
（2）方便快速評審及執行測試。
目前我們所使用的的用例管理工具是matrix+easytest+freemind+excel，根據不同的需求場景，選擇不同的工具。
4、用例執行測試
執行測試包括兩部分：
第一部分：每週平均兩次的迭代版本測試，這種型別的執行測試以手工測試為主工具為輔。
第二部分：定期執行部分, 主要依賴工具執行。用來做web、介面的功能測試和效能測試，包括selenium+git+idea、easytest、jmeter、beyondcompare這類工具分別設定了不同的執行週期，定期的進行全產品線的回歸測試，進一步保證產品功能邏輯及介面功能的正確及可用性。
5、線上驗收測試
上線後，第一時間針對上線更新內容進行線上回歸測試，並且快速反饋給開發和產品，做出決策；上線驗證完成後，根據實際上線結果向專案所有成員傳送上線測試報告;
6、測試總結
文件整理
針對專案所涉及的環境資料、業務資料等實際場景做專案後的總結整理。
技術總結
主要是針對專案中用到的工具技術，所遇到的難點或新的突破和改進。
專案概況綜述
包括需求覆蓋率、需求遺漏變更率、開發自測通過率、開發bug反覆率、用例覆蓋率、問題遺漏率、專案bug型別及數量統計等。
總結：
萬變不離其宗，不論是什麼測試ta的主流程基本都是一樣的，就是我們剛開始學習測試的那一套流程。也許你會覺得簡單，但你要明白，無規不成方圓，有時候沒有推行好或者結果不好不一定是因為技術不行，也許是沒有好的流程。就好像，一輛汽車的生產，如果沒有好的流程你覺得最終出來的汽車質量會好嗎？
很多東西不會立馬就明白，大資料測試也是一樣，先做了解和記憶，等後續隨著知識的積累自然就明白了，學習就是這樣的，需要乙個過程，不能太強求。
大資料安全規範
大資料安全規範 大資料的安全體系分為五個層次 周邊安全 資料安全 訪問安全 認證 authentication和授權 authorization 訪問行為可見 錯誤處理和異常管理。下面依次說明 1.周邊安全技術即傳統意義上提到的網路安全技術，如防火牆等 2.資料安全包括對資料的加解密,又可細分為儲存...
大資料產品介紹
elasticsearch elasticsearch 簡稱es 分布式可擴充套件去中心化的實時搜尋和分析引擎 去中心化 即無主節點，對外部來說，無論你訪問的是哪個節點，都是和整個集群在互信。它的主節點是可以通過選舉產生的。特點 分布式實時檔案儲存，並將每乙個欄位都編入索引，使其可以被搜尋 可以擴充...
大資料開發
職業要求 大資料概述 大資料處理架構hadoop 分布式檔案系統hdfs 分布式資料庫hbase nosql資料庫 雲資料庫 mapreduce 基於hadoop的資料倉儲hive hadoop架構再 spark 流計算圖計算 大資料在不同領域的應用 666666 大資料技術概述 spark的設計與...