大資料時代，資料資訊的無處遁形

作者 | 小天

這個概念乍眼一看有點懵，小天舉個栗子解釋，相信就比較容易理解：

假如某東需要**使用者在未來5天內的購買需求，以達到精準營銷的目的，那麼此時完全可以借助資料探勘實現。

通過資料探勘技術和機器學習演算法，在以某東真實的使用者、商品和行為資料（脫敏後）為基礎的情況下，構建乙個使用者購買商品的**模型，輸出高潛使用者和目標商品的匹配結果，從而提供高質量的目標群體，實現精準營銷。

也就是說，我們能夠從海量的資料中挖掘出有用知識服務於我們的工作。

而就目前而言，資料探勘大致上是可以分為四個層次：純粹資料加工、傻瓜式挖掘、較為自由的挖掘以及演算法拆解和開發。

（一）純粹資料加工

這一層次主要側重於變數的加工和預處理，主要的加工工具就是大家比較熟悉的sql和sas base。

從源系統或資料倉儲，對相關資料進行提取、加工、衍生處理，生成各種業務表。緊接著，以客戶號為主鍵，將這些業務表整合彙總出一張大寬表，而這張寬表就是所謂的「客戶畫像」。

（二）傻瓜式挖掘

傻瓜式操作的優點就是讓資料探勘變得入手快且簡單，但是，眾所周知傻瓜式操作必然存在缺陷，比如挖掘的過程會很單調無趣，沒辦法批量運算模型等等。而較為典型的工具有sas em和clementine。

這兩種工具已經嵌入了很多較為傳統成熟的演算法、模組和節點（如大家很熟悉的神經網路以及前幾天小天提到的決策樹等）。只需滑鼠的托拉拽，基本上就可以滿足你挖掘資料的需求。

因此，在熟練操作這些工具的情況下，若想進一步提公升建議需要拋棄它們。

（三）較為自由的挖掘

在這個層次，典型的工具就是r和python這兩個開源工具，前者是統計學家開發的，而後者則是計算機學家開發的。

它們不但有較多前沿且成熟的演算法包呼叫，還能對既有的演算法包進行修改調整，以適應分析需求，十分的靈活。此外，python在文字、社會網路方面的處理，功能比較強大。

（四）演算法拆解和自行開發

到了這一層次，說明你們已經擁有了重新編寫演算法**的能力，比如用自己的**實現邏輯回歸運算過程，甚至根據業務需求和資料特點，更改其中一些假定和條件，以提高模型運算的擬合效果。

一般而言，大多數人會利用python、c、c++進行演算法拆解和開發。

可以看到，四個層次**現最多的就是python，因此可以這麼說掌握了python，掌握資料探勘也就不在話下了！

而根據當前網際網路的招聘和對技能的需求來說，當你已經順利度過前三個層次的時候，建模分析師的職位是妥妥的，如果再更進一步到達了第四層次，相信你就是當之無愧的演算法工程師了！

那麼，怎麼才能更好地掌握資料探勘，最高效的學習路徑應該是什麼樣的呢？

此時，我們最先要做的就是了解資料探勘的大致流程。

（一）資料讀取

既然是叫資料探勘，那麼可以看出資料是重中之重，因此第一步就應該把資料讀取出來。

（二）特徵理解分析

資料讀出來了，但並不代表這些資料都是有用的，因此需要根據資料的特徵進行理解和分析，考慮變數與結果的關係，最後繪圖得出結論，輔助判斷，進而選出有價值的資料。

（三）資料清洗與預處理

選出了有價值的資料就可以馬上建立模型了吧？別想太多，還得先清洗和預處理資料。雖然這一步看似很簡單，但是實際上它是整個資料探勘過程中最耗時的，大概佔了70-80%的時間。

如何對資料進行恰當的處理使得最終能夠獲取最合適的資料是這一步需要解決的。請記住，資料決定了模型的上限。

（四）建立模型

完成了最重要的第三步之後，就可以開始建模了，通過多種演算法的對比以及參考他人的策略進行建模與優化，最終得出合適的模型。

大資料時代，資料資訊的無處遁形

作者 資料與演算法之美 資料探勘，英文名叫data mining，一般是指從大型資料庫中將隱藏的 資訊抽取出來的過程，而更為精確的解釋則是 從資料中挖掘知識 這個概念乍眼一看有點懵，小天舉個栗子解釋，相信就比較容易理解 假如某東需要 使用者在未來5天內的購買需求，以達到精準營銷的目的，那麼此時完全可...

大資料時代 資料該如何保護？

隨著資料發掘的不斷深入和在各行業應用的不斷推進，大資料安全的 脆弱性 逐漸凸顯，國內外資料洩露事件頻發，使用者隱私受到極大挑戰。而且在大資料環境下隱私洩露的危險，不僅僅在於洩露本身，還在於基於資料對下一步行動的 和判斷，因此大資料時代的隱私保護儼然成為大資料應用發展的一項重要課題。目前隱私資料洩露的...

大資料資訊時代

背景 近幾年來，中國的廣告業進入了乙個空前活躍時期，無論是廣告公司的數量，從業人數，還是廣告營業額，都呈現迅速增長的態勢。廣告市場猶如一塊大蛋糕，眾多廣告公司前來分割而食，使廣告經營單位和從業人員急速增加，人員良莠不齊，懂經營管理的少，小本經營的多。號百從黃頁時代就開始從事傳媒這塊業務，專業 權威 ...