Python資料分析與挖掘實戰 第一章

2021-09-12 05:28:36 字數 706 閱讀 6955

目錄

一、概述

二、資料探勘建模過程

1. 定義挖掘目標

2. 資料取樣

1)從業務系統中,抽取出乙個與挖掘目標相關的樣本資料子集

2)資料質量!!!

3)資料抽樣

3. 資料探索

4. 資料預處理

5. 挖掘建模

6. 模型評價

三、常用資料探勘建模工具

1. 從大量資料中挖掘出隱含的、未知的、對決策有潛在價值的關係、模式和趨勢

,並用這些知識和規則建立用於決策支援的模型,提供**性決策支援的方法、工具和過程。

2. 資料探勘的基本任務包括利用分類與**、聚類分析、關聯規則、時序模式、偏差檢測、智慧型推薦

等方法,幫助企業提取資料中蘊含的商業價值,提高企業的競爭力

背景知識、使用者需求

無缺 無誤

挖掘模型的質量不會超過抽取樣本的質量

先驗知識——明顯的趨勢或規律、沒出現過的資料狀態、屬性之間的相關性、可以被區分為什麼類別等

sas enterprise miner

ibm spss modeler

sqlpython

weka

knime

rapidminer

tipdm

Python資料分析與挖掘實戰 挖掘建模

常用的分類與 演算法 1回歸模型分類 1線性回歸 自變數因變數線性關係,最小二乘法求解 2非線性回歸 自變數因變數非線性關係,函式變換為線性關係,或非線性最小二乘方法求解 3logistic回歸 因變數一般有1和0兩種取值,將因變數的取值範圍控制再0 1範圍內 4嶺回歸 自變數之間具有多重共線性 5...

python資料分析與挖掘實戰 資料探勘基礎

從大量資料 包括文字 中挖掘出隱含的 未知的 對決策有潛在價值的關係 模式和趨勢,並用這些知識和規則建立用於決策支援的模型,提高 性決策支援的方法 工具和過程,就是資料探勘 它是利用各種分析工具在大量資料中尋找其規律和發現模型與資料之間關係的過程,是統計學 資料庫技術和人工智慧技術的綜合。1.定義挖...

Python資料分析與挖掘實戰學習07

一 python基礎 1.python簡介 python是一種物件導向的解釋型語言,由荷蘭人guido van rossum與1989年發明,第乙個公開發行版本於1991年發布。python語法簡潔清晰,強制用空白符作為語句縮排。python語言最大的特點是簡單和強大。2.python庫 1 bas...