資料分析與挖掘

2022-07-30 02:00:17 字數 1820 閱讀 4955

1、 概述

1.1  使用者研究縱覽

使用者研究可以從定性分析和定量分析兩個不同的維度展開:定性分析是從小規模的資料樣本中發現新事物的方法,主要應用於使用者體驗調查;定量分析是用大資料量的樣本來測試和證明某些事情的方法,主要應用於使用者行為資料分析。

1.2  資料分析與挖掘流程規範

資料分析與挖掘型系統建設與傳統的業務操作型系統建設不同,有其自身的特點和規則。資料分析和挖掘是資料庫知識發現(kdd:knowledge-discovery in databases)中乙個重要的環節,kdd是通過從資料集中識別出有效的、新穎的、潛在有用的,以及最終可理解的模式的非平凡過程。

跨行業資料探勘標準流程(crisp-dm:cross-industry standard process for data mining)是kdd過程模型中佔據領先位置,採用量達到近60%,由歐盟機構聯合起草的資料分析和挖掘過程模型。crisp-dm包括6個不同的環節,如下圖所示:

業務理解(business understanding):最初的階段集中在理解專案目標和從業務的角度理解需求,同時將這個知識轉化為資料探勘問題的定義和完成目標的初步計畫。

資料理解(data understanding):資料理解階段從初始的資料收集開始,通過一些活動的處理,目的是熟悉資料,識別資料的質量問題,首次發現資料的內部屬性,或是探測引起興趣的子集去形成隱含資訊的假設。

資料準備(data preparation):資料準備階段包括從未處理的資料中構造最終資料集的所有活動。這些資料將是模型工具的輸入值。這個階段的任務能執行多次,沒有任何規定的順序。任務包括表、記錄和屬性的選擇,以及為模型工具轉換和清洗資料。

資料建模(modeling):在這個階段,可以選擇和應用不同的模型技術,模型引數被調整到最佳的數值。一般,有些技術可以解決一類相同的資料探勘問題。有些技術在資料形成上有特殊要求,因此需要經常跳回到資料準備階段。

模型評估(evaluation):到這個階段,你已經從資料分析的角度建立了乙個高質量顯示的模型。在開始最後部署模型之前,重要的事情是徹底地評估模型,檢查構造模型的步驟,確保 模型可以完成業務目標。這個階段的關鍵目的是確定是否有重要業務問題沒有被充分的考慮。在這個階段結束後,乙個資料探勘結果使用的決定必須達成。

模型發布(deployment):通常,模型的建立不是專案的結束。模型的作用是從資料中找到知識,獲得的知識需要便於使用者使用的方式重新組織和展現。根據需求,這個階段可以產生簡 單的報告,或是實現乙個比較複雜的、可重複的資料探勘過程。在很多案例中,這個階段是由客戶而不是資料分析人員承擔部署的工作。

2、 使用者行為資料分析

2.1 目標

2.2 方法

2.3 工具

3. 終端分析:裝置分布一目了然(裝置型號、品牌、作業系統、解析度、聯網方式、運營商等);

2.4 輸出

使用者行為資料分析的結果是使用者角色畫像,構建使用者的標籤模型,使用者標籤資料的獲取則主要是依賴資料探勘演算法,標籤體系的構成針對不同的行業、不同業務、不同使用者,各有不同,需要更專業的行業使用者畫像模型,在此不做過多的討論。使用者畫像輸出結果示例如下圖所示:

3、 使用者體驗資料分析

3.1 目標

3.2 方法

3.3 工具

1)     快速判斷任務:一般是簡單的單選題,使用者可以快速完成判斷。

3)     產品找茬任務:體驗一款新產品,提交該產品的bug或提出該產品的改進建議。

4)     特殊任務:企業可以基於特定目的,設定特殊任務,如當前正在進行的尚德教育機構創意徵集任務。

5)     實地調研任務:調研物件招募類專案,通過發起實地調研任務,招募符合條件的調研物件,參與使用者現場溝通。

資料分析與挖掘

學習 實戰記錄 實戰專案1 智取樂食 從大量資料 包括文字 中挖掘出隱含的 未知的 對決策有潛在價值的關係 模式和趨勢,並用這些知識和規則建立用於決策支援的模型,提供 性決策支援的方法 工具和過程,就是資料探勘。資料探勘的基本任務包括利用分類 聚類分析 關聯規則 時序模式 偏差檢驗 智慧型推薦等方法...

資料分析與挖掘

用於資料分析的 olap 系統的主要特點就是資料量非常大,併發訪問不多,但每次訪問所需要檢索的資料量都比較多,而且資料訪問相對較為集中,沒有什麼比較明顯的活躍資料概念。olap 即聯機分析處理,是資料倉儲的核心部心,所謂資料倉儲是對於大量已經由 oltp 形成的資料的一種分析型的資料庫,用於處理商業...

資料分析與資料探勘

一 常用資料探勘方法 1 關聯方法 2 人工神經網路 3 決策樹 4 異常分析 5 聚類分析 6 arima測試 二 資料分析師 國內兩種資料分析師認證 資料分析師cda 專案資料分析師cpda cda 1 統計概率基礎 2 資料分析模型方法 3 工具的運用 spss,modeler 三 資料分析的...