對很多技術團隊來說，在搭建智慧型資料架構的過程中，或多或少會遇到一些疑惑和挑戰，經過多次實踐後，有些團隊已經破除疑惑，成功探索出一條搭建智慧型資料架構之路，那麼他們是如何實現這一技術的呢？在近日的個推技術沙龍成都站，幾位架構大師在現場開啟了資料技術的「腦暴時間」。
諾基亞網路成都研發中心研發經理
企業在應對資料增長帶來的巨大挑戰時，需在研發和管理方面做好充足準備。
研發方面，提公升資料儲存的擴充套件性；管理方面，除了增加對人和裝置的管理外，要努力打造一支具有資料驅動型領導力的團隊，讓團隊中的決策以資料為依據，同時創造出以資料為核心的文化氛圍。
大資料時代，想要成為一名資料驅動型領導(data-driver leader)，需要具備三大招式。
第一招：關注研發團隊的經濟效益資料（take an economic view）
研發團隊不僅是成本中心，他們也具有創造經濟效益的能力，作為一名資料驅動型領導，在日常工作中要關注相關技術實踐能否為公司帶來經濟利益。
第二招：讓團隊資料視覺化(transparency)
在一支研發團隊中，部門領導需要將資料視覺化，讓團隊中的每個人都對核心資料有所了解，這樣一來，當問題出現時，每個人都有能力去解決。
第三招：基於資料，及時快速反饋(fast feedback)
在團隊執行過程中，作為領導者，不僅要制定好相應規劃，同時要不斷分析資料查詢問題，並基於資料以及kpi給成員提供反饋。
雖然資料驅動型領導在推動公司決策方面具有重要作用，但隨著公司人員的擴充，部門牆和區域性優化（sub-optimization）越來越明顯，此時需要打破部門牆，讓各個部門和團隊都能圍繞乙個共同的目標進行協作，以達到效益最大化的目標。
個推大資料架構師
機器學習工作的常規流程：運營者首先要將商業問題轉化為機器學習能夠解決的問題，然後再進行資料收集以及清洗和聚合的工作，接下來開啟資料探索和特徵工程，經過上述步驟，便能得到事物**所需要的全部因素，此時，運營者可以選用不同的演算法，並將演算法進行訓練，得到相應的應用模型。最後，運營者還需要利用真實的資料進行驗證，確保模型的可行性。
機器學習作為一門多領域交叉學科，是解決許多實際問題的有效工具。個推通過機器學習，構建了獨有的冷、熱、溫標籤，用以分析不同群體的基礎屬性和行為特徵，描繪使用者的精準畫像，最終運用於智慧型推送和精準營銷。
想要完成機器學習平台的建設，需要注意三大要點：
1.只有端到端的平台建設才會真正產生價值，同時，特徵工程的資料和**沉澱需要共享運營。
2.從成效出發，聚焦痛點，不要盲目跟隨行業，做好系統和培訓的一體化。
3.謹慎引入新技術棧。
為了避免機器學習平台建設**現的常見問題，個推的建模平台會提供相應的ide以及呈現相應特徵的管理系統，同時還能提供標準化的id匹配服務和資料抽取服務，減少工程師的重複工作。此外，個推提供的打包部署服務和後續監控服務，也能夠幫助企業保證平台的順利執行。
聚美優品大資料高階工程師
大資料3.0時期，hadoop第一代、spark記憶體計算第二代，早期流計算以及人工智慧流計算同時並存。
早期流計算具有強一致性、資料亂序與延遲等五大困難點，flink的出現，有效解決了這些難題，同時flink還兼具了可以實時增量計算、sql支援以及cep支援等六大優點。
流計算發展至今，已經具備了cep這一強大功能，這也是支撐流計算智慧型化的關鍵因素所在。現實生活中，很多複雜的場景無法通過顯式規則來進行判斷(傳統程式設計為規則程式設計、指令程式設計以及if else程式設計)，比如你無法用if else寫出如何判斷哪一張是樹葉，你無法用有限的規則寫出如何判斷資料流中哪些是人為操作、哪些是機械人刷單，此時需要用機器學習模型來檢測和匹配，同時需要ml和流計算相結合使用。
通常情況下， ml模型主流場景有分類和回歸兩大場景，他們可以檢查抽象中無狀態 f = fx(x1,x2 ..)無狀態模型(有狀態的模型典型代表rnn)，而在sql語義中 udf剛好與之對應(無狀態)，需要把模型放入流處理系統中，也就是將tensorflowpbmodel模型註冊為udf，完成上述步驟後，資料流會進入ml檢測階段。
使用流計算相關功能時，需要強大的平台予以支援，以便在上面實施sql開發、授權等操作。
資料探勘 FP增長
fp tree演算法 fptree演算法 在不生成候選項的情況下，完成apriori演算法的功能。fptree演算法的基本資料結構，包含乙個一棵fp樹和乙個項頭表，每個項通過乙個結點鏈指向它在樹中出現的位置。基本結構如下所示。需要注意的是項頭表需要按照支援度遞減排序，在fptree中高支援度的節點只...
中國才是挖掘「資料金礦」的真正福地
很多中國和外國的公司都會推出基於使用者個人資料的產品和服務，有的是為了增強產品體驗，還有一些是為了利用資料賺錢，抵消一部分免費產品的成本。很多中國和外國的公司都會推出基於使用者個人資料的產品和服務，有的是為了增強產品體驗，還有一些是為了利用資料賺錢，抵消一部分免費產品的成本。我們在享受現代生活時產生...
商務智慧型 資料倉儲 資料探勘
商務智慧型 資料倉儲 資料探勘 商務智慧型 是通過對大量的資料進行自動地加工 處理 分析，實現資料向資訊，資訊向知識的轉換，並將知識應用與決策的一系列過程的技術。從某種方面來說，商務智慧型是一種解決方案。資料倉儲 是乙個環境，而不是一件產品，提供使用者用於決策支援的當前和歷史資料，這些資料在傳統的操...