大資料的資料採集是在確定使用者目標的基礎上，針對該範圍內所有結構化、半結構化和非結構化的資料的採集，採集後對這些資料進行處理，從中分析和挖掘出有價值的資訊。
大資料的三大主要**為商業資料、網際網路資料和物聯網資料。
1、系統日誌採集方法；
2、非結構化資料採集方法；
3、其他資料採集方法。
1、資料清洗。對資料進行抽取、轉換和整合載入。
2、資料整合。狹義上是指如何合併規整資料，廣義上指資料的儲存、移動、處理等與資料有關的活動。
3、資料變換。將資料轉換成適合挖掘的形式。
4、資料規約。從資料庫或資料倉儲中選取並建立使用者感興趣的資料集合，然後從資料中過濾掉一些無關、偏差或重複的資料。
大資料關聯處理 大資料預處理之資料清洗
現實世界的資料常常是不完全的 有雜訊的 不一致的。資料清洗過程包括遺漏資料處理，雜訊資料處理，以及不一致資料處理。本節介紹資料清洗的主要處理方法。假設在分析乙個商場銷售資料時，發現有多個記錄中的屬性值為空，如顧客的收入屬性，則對於為空的屬性值，可以採用以下方法進行遺漏資料處理。1 忽略該條記錄 若一...
大資料預處理之資料清洗
現實世界的資料常常是不完全的 有雜訊的 不一致的。資料清洗過程包括遺漏資料處理，雜訊資料處理，以及不一致資料處理。本節介紹資料清洗的主要處理方法。假設在分析乙個商場銷售資料時，發現有多個記錄中的屬性值為空，如顧客的收入屬性，則對於為空的屬性值，可以採用以下方法進行遺漏資料處理。1 忽略該條記錄 若一...
資料預處理
現實世界中資料大體上都是不完整，不一致的髒資料，無法直接進行資料探勘，或挖掘結果差強人意。為了提前資料探勘的質量產生了資料預處理技術。資料預處理有多種方法 資料清理，資料整合，資料變換，資料歸約等。這些資料處理技術在資料探勘之前使用，大大提高了資料探勘模式的質量，降低實際挖掘所需要的時間。一 資料清...