最近在推進一些跨域的事情，聆聽了一些教誨，獲得了一些新的感悟，作為
大資料管理者，擁有技術是遠遠不夠的，更需要有大胸懷，特此分享於你。
1、 在架構層面，大資料平台要是企業級的
大資料平台從技術層面講沒有太多的秘密，無論有多大的難度，大家都可以從小做起，但平台的定位企業則要想清楚，這是由你決定的，因為這決定了平台的內涵。
比如對於運營商，大資料平台如果沒有管理層的背書，極有可能建成乙個僅面向市場的專業集市，傳統的經分雖然號稱也整合多域資料，但實際上它就是市場的集市，然而當前運營商的資料創新大多發生在了o+b領域。
在togaf裡，提到了企業架構在預備階段就要確立一些原則，這些原則是未來決策和行動的依據，不能動搖，現在想來，這太需要了，如果我是乙個企業大資料平台的首席架構師，第一條原則就應該是「平台是企業級的，負責整個企業的資料整合。」
雖然在後續資料採集和整合過程中，會有大量的溝通協調問題，甚至爭論，這些都很正常，不同專業的人員，面對不同域的資料，要採用統一的技術標準來進行採集和管理，最終顯然是妥協的結果。
乙個真正企業級大資料平台能建立起來，不僅僅是技術問題，更多是管理問題，在公司大資料平台建設的前期，筆者參加了不少技術討論會，技術層面的爭論是非常多的，因為一旦確認，意味著現在還好用的技術就可能被廢棄。
也正因為有了企業級的原則，才能有理有據的去採集所有的資料，多少企業內部的資料管理人員由於缺乏上層明確的乙個說法而讓資料整合舉步維艱。
2、 在運營層面，要勇於打破部門的邊界
即使採集到了企業級的資料，但企業的大資料管理者往往不知覺陷入「資料是全域的，但心態仍是部門的」境況，為什麼
首先是自身定位問題，硬體更新了，但軟體還沒更新，在企業資料貫通的前期，其實很難有懂全域資料，高屋建瓴的資料管理人員，在大量條線分割明確的企業，往往不自覺的是以部門利益為導向的，現在要求以全域性利益為導向，這個轉變的挑戰很大。
比如以前部門的資源自己用，現在平台需要為企業各個部門服務，資源如何分配，優先順序如何定，跨部門流程如何貫通，這些都是問題，企業級大資料平台建設完成可不是終結，恰恰是艱難運營的開始。
其次是不確定問題，前期筆者談過企業要建立搭台唱戲的運營方式，通過企業級paas平台為各個部門提供能力支撐，但對熟悉的業務支撐相對容易，對不熟悉的業務的就變得舉步維艱了。
以建模大賽為例，針對b域可能駕輕就熟，不就是精確營銷嗎，我們懂，但一旦換到了o域，就有畏難情緒，認為這個事情不確定強，比如網路的不熟悉，課題不知道怎麼定，別人不配合怎麼辦，總之是一堆的問題，這對於企業的資料管理團隊是巨大的挑戰。
總喜歡做熟悉的事情，對於陌生的領域躲之不及，但這恰恰是企業級大資料運營的關鍵，不突破原有自身所在的業務領域，談何企業級大資料，做大資料要解決大意識的問題。
當我們打造出了企業級大資料平台，應該接著問問自己的內心是否已經做好準備，去嘗試乙個自己從未接觸的領域，我們在感嘆大資料對內變現不易的時候，是否想到過是由於自身的思想禁錮而導致停滯不前
3、在資料層面，要努力掌握跨界的資訊
你在某個域是資料權威，但在另乙個域往往還沒入門，因為資料帶著天然的業務屬性，所謂無業務不資料，但真的是這樣嗎
對於資料管理人員，如果將資料當成資產，則理解資產是第一要務，現在人工智慧，機器學習很熱，但再好的演算法，也不如乙個好的資料。
舉個例子，我們舉辦的一次建模大賽中發現有個地市找到了乙個資料，即基於信令切換可以判斷是否換成wifi上網，這可以較為準確的判斷是否是異網寬頻使用者，而這個資料其實早已經躺在我們的平台上了，僅僅因為這個資料不屬於傳統的領域，我們的資料管理人員還不熟悉，但大家都知道，靠演算法去判斷乙個異網使用者是多麼艱難。
重劍無鋒，大巧不工，大資料的精髓往往在於去做那些樸實無華的事情，就好比我們以前理解b域資料那樣，要通過不停的問，不停的取，不停的修，最終我們對於資料的理解才能達到乙個新的境界，直到足以挖掘出這個資料的全部潛力，這才是企業級資料管理團隊存在的價值。
4、在演算法層面，要敢於去嘗試一些新東西
人工智慧，深度學習興起代表了一種趨勢，雖然業務為王，但也要相信演算法推動業務的力量，我們在尊重業務人員的經驗時候，也要想想有哪些更好的演算法能服務好業務，兩者是相輔相成的。
很多人估計跟筆者一樣困惑吧，一方面感嘆於深度學習在人機互動領域的突飛猛進，另一方面卻覺得這個東西跟公司的業務相距甚遠，真的是這樣嗎
如何讓深度學習服務於自己的企業是當前每個資料管理者需要考慮的問題，總有些業務場景特徵是不明顯的，需要用深度網路來抽象出特徵變數，總有些場景識別問題可以轉換成影象識別問題，企業特別需要有能連線業務和深度學習的人，我們不能對業務人員有更多要求， 這是用技術改變業務的真正機會。
尋找的過程很痛苦，但值得去嘗試，即使失敗了，也積累了經驗，至少理解了深度學習，搞懂了tensorflow, 這對團隊有好處，也為下一次衝鋒集聚了能量。
部門有界，資料無界，是突然閃現在面前的字眼，大資料博大精深，既是技術，也是業務，更是管理，既是術，也是道，我們在羨慕網際網路的跨界創新時，其實企業的跨界創新就在身邊，關鍵在於自己是否擁有更廣闊的視野和胸襟，能勇敢的往前邁出一步。
本文出處：暢享網
大資料時代 大資料，大視野
關於 大資料，不同的書和不同的作者可能會有不太完全相同的定義。如，有的學者認為 所涉及的資料量規模巨大，無法通過目前主流軟體工具在合理時間內達到擷取 管理 處理並整理成為幫助企業經營決策更積極目的的資訊。而維克托認為大資料是人們在大規模資料的基礎上可以做到的事情，而這些事情在小規模資料的基礎上是無法...
大資料需要學什麼
一般處理t 1資料，這裡的t可以代表一天，一周 乙個月以及一年等。這裡我用的hadoop的版本是hadoop 2.x，它有四個模組 common hdfs mapreduce yarn 下面是hadoop的四個模組的詳細介紹 模組介紹 hadoop common 支援其他模組的工具模組 hadoop...
在大資料時代，每家公司都要有大資料部門嗎？
如果這個問題換做是 在電氣時代，每家公司都要有個發電廠嗎？是不是會更好回答一些？事實上每一種重大技術的出現，都會對產業產生大的變化。在蒸汽時代，採礦機採用蒸汽機後，會帶來生產效率的極大提公升，而輪船加上蒸汽機，再也不需要靠風才能航海了。在電氣時代，電燈代替了蠟燭，電報代替了快馬送信，而報紙也被廣播和...