一、前言
每每提到資料探勘，總有些人上來就是etl、是演算法、是數學模型，作為搞工程實施的我而言，很是頭疼。其實作為資料探勘的而言，演算法只是其實現手段、是工具和實現手段而已，我們不是在創造演算法（國外職業搞研究的除外），我們是在使用演算法而已，換句話說我們是演算法的工程化實踐者。資料探勘非今日之物，大資料探勘也不是乙個孤立的概念，其實質還是採用傳統的資料探勘的方法，只是其實現工具發生了變化而已，本質的東西還在。引入發布近20年前的crisp-dm資料探勘標準規範模型，供大家共享，希望能有人喜歡。
二、框架
三、詳述
3.1 業務理解（business understanding）
最初的階段集中在理解專案目標和從業務的角度理解需求，同時將這個知識轉化為資料探勘問題的定義和完成目標的初步計畫。
3.2 資料理解（data understanding）
資料理解階段從初始的資料收集開始，通過一些活動的處理，目的是熟悉資料，識別資料的質量問題，首次發現資料的內部屬性，或是探測引起興趣的子集去形成隱含資訊的假設。
3.3 資料準備（data preparation）
資料準備階段包括從未處理的資料中構造最終資料集的所有活動。這些資料將是模型工具的輸入值。這個階段的任務能執行多次，沒有任何規定的順序。任務包括表、記錄和屬性的選擇，以及為模型工具轉換和清洗資料。
3.4 建模（modeling）
在這個階段，可以選擇和應用不同的模型技術，模型引數被調整到最佳的數值。一般，有些技術可以解決一類相同的資料探勘問題。有些技術在資料形成上有特殊要求，因此需要經常跳回到資料準備階段。
3.5 評估（evaluation）
到這個階段，你已經從資料分析的角度建立了乙個高質量顯示的模型。在開始最後部署模型之前，重要的事情是徹底地評估模型，檢查構造模型的步驟，確保 模型可以完成業務目標。這個階段的關鍵目的是確定是否有重要業務問題沒有被充分的考慮。在這個階段結束後，乙個資料探勘結果使用的決定必須達成。
3.6 部署（deployment）
通常，模型的建立不是專案的結束。模型的作用是從資料中找到知識，獲得的知識需要便於使用者使用的方式重新組織和展現。根據需求，這個階段可以產生簡 單的報告，或是實現乙個比較複雜的、可重複的資料探勘過程。在很多案例中，這個階段是由客戶而不是資料分析人員承擔部署的工作。
四、總結
從以上流程和規範我們可以看到，演算法實現過程，其實只佔了資料探勘的一部分，真正要想實現資料探勘，並達到資料探勘的目標，我們需要做的事情還有很多。
莫愁前路無知己，夜暗自有早行人。資料探勘技術交流**：大資料架構師技術交流：347018601
mysql標準規範
一 基礎規範 解讀 1 通用，無亂碼風險，漢字3位元組，英文1位元組 2 utf8mb4是utf8的超集，有儲存4位元組例如表情符號時，使用它 解讀 1 對資料庫效能影響較大，網際網路業務，能讓站點層和服務層幹的事情，不要交到資料庫層 2 除錯，排錯，遷移都比較困難，擴充套件性較差 二 命名規範 解...
TPC DS標準規範（二）
tpc ds是一套決策支援系統測試基準，主要針對零售行業。提供99個sql查詢 sql99或2003 分析資料量大，測試資料與實際商業資料高度相似，同時具有各種業務模型 分析報告型，資料探勘型等等 國內目前相關的翻譯文章較少。本文嘗試對官網的tpc benchmark ds standard spe...
SOA標準規範組織與案例分析
前段時間，乙個雜誌社約我寫了一篇soa相關的文章，然後編輯問我 osoa是乙個標準組織嗎？還真不是太 好直接地回答的問題。已經很久沒有時間寫blog的我考慮了一下說 還是寫個blog回答你吧。1.soa標準化組織 標準一般是由業界公認的標準化組織制定和發布的，soa領域最主要的標準化組織有兩個 1....