結構化資料，是可以表示成多行多列的形式，並且，每行（ 列） 都有著具體的含義。非結構化資料，無法合理地表示為多行多列的形式，即使那樣表示，每行（列）也沒有具體的含義。
文字資料，是一種非結構化資料，與我們之前分析的結構化資料有所不同。因此，其預處理的步驟與方式也會與結構化資料有所差異。文字資料預處理主要包含：
◆缺失值處理
◆重複值處理
◆文字內容潔洗
◆分詞◆停用詞處理
查詢重複值並刪除
文字中存在對分析作用不大的標點符號與特殊字元，使用re庫中正則匹配方法去除
分詞是將連續的文字，分割成語意合理的若干詞彙序列，中文分詞需要用jieba庫中的方法實現分詞功能
停用詞，指的是在我們語句中大量出現，但卻對語義分析沒有幫助的詞。對於這樣的詞彙，我們通常可以將其刪除，這樣的好處在於：可以降低儲存空間消耗、可以減少計算時間消耗。 對於哪些詞屬於停用詞，已經有統計好的停用詞列表，我們直接使用就好。
資料預處理系列 （五）分類變數處理
博主簡介 風雪夜歸子 英文名 allen 機器學習演算法攻城獅，喜愛鑽研machine learning的黑科技，對deep learning和artificial intelligence充滿興趣，經常關注kaggle資料探勘競賽平台，對資料 machine learning和artificial...
資料預處理
現實世界中資料大體上都是不完整，不一致的髒資料，無法直接進行資料探勘，或挖掘結果差強人意。為了提前資料探勘的質量產生了資料預處理技術。資料預處理有多種方法 資料清理，資料整合，資料變換，資料歸約等。這些資料處理技術在資料探勘之前使用，大大提高了資料探勘模式的質量，降低實際挖掘所需要的時間。一 資料清...
資料預處理
常見的資料預處理方法，以下通過sklearn的preprocessing模組來介紹 變換後各維特徵有0均值，單位方差。也叫z score規範化 零均值規範化 計算方式是將特徵值減去均值，除以標準差。sklearn.preprocessing scale x 一般會把train和test集放在一起做標...