bat大資料工程師是怎麼樣煉成的
資料處理是對紛繁複雜的海量資料價值的提煉，而其中最有價值的地方在於**性分析，即可以通過資料視覺化、統計模式識別、資料描述等資料探勘形式幫助資料科學家更好的理解資料，根據資料探勘的結果得出**性決策。其中主要工作環節包括：
大資料採集、
大資料預處理、
大資料儲存及管理、
大資料分析及挖掘、
大資料展現和應用(大資料檢索、大資料視覺化、大資料應用、大資料安全等)。
一、大資料採集技術
大資料採集一般分為：
二、大資料預處理技術
完成對已接收資料的辨析、抽取、清洗等操作。
三、大資料儲存及管理技術
大資料儲存與管理要用儲存器把採集到的資料儲存起來，建立相應的資料庫，並進行管理和呼叫。重點解決複雜結構化、半結構化和非結構化大資料管理與處理技術。主要解決大資料的可儲存、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式檔案系統(dfs)、能效優化的儲存、計算融入儲存、大資料的去冗餘及高效低成本的大資料儲存技術;突破分布式非關係型大資料管理與處理技術，異構資料的資料融合技術，資料組織技術，研究大資料建模技術;突破大資料索引技術;突破大資料移動、備份、複製等技術;開發大資料視覺化技術。
開發新型資料庫技術，資料庫分為關係型資料庫、非關係型資料庫以及資料庫快取系統。其中，非關係型資料庫主要指的是nosql資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文件資料庫等型別。關係型資料庫包含了傳統關係資料庫系統以及newsql資料庫。
開發大資料安全技術：改進資料銷毀、透明加解密、分布式訪問控制、資料審計等技術;突破隱私保護和推理控制、資料真偽識別和取證、資料持有完整性驗證等技術。
四、大資料分析及挖掘技術
大資料分析技術：改進已有資料探勘和機器學習技術;開發資料網路挖掘、特異群組挖掘、圖挖掘等新型資料探勘技術;突破基於物件的資料連線、相似性連線等大資料融合技術;突破使用者興趣分析、網路行為分析、情感語義分析等面向領域的大資料探勘技術。
資料探勘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用資料中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的資訊和知識的過程。
資料探勘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或**模型發現、資料總結、聚類、關聯規則發現、序列模式發現、依賴關係或依賴模型發現、異常和趨勢發現等等;根據挖掘物件可分為關聯式資料庫、物件導向資料庫、空間資料庫、時態資料庫、文字資料來源、多**資料庫、異質資料庫、遺產資料庫以及環球網web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。
機器學習中，可細分為歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非引數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(bp演算法等)、自組織神經網路(自組織特徵對映、競爭學習等)等。資料庫方法主要是多維資料分析或olap方法，另外還有面向屬性的歸納方法。
資料探勘主要過程是：根據分析挖掘目標，從資料庫中把資料提取出來，然後經過etl組織成適合分析挖掘演算法使用寬表，然後利用資料探勘軟體進行挖掘。傳統的資料探勘軟體，一般只能支援在單機上進行小規模資料處理,受此限制傳統資料分析挖掘一般會採用抽樣方式來減少資料分析規模。
資料探勘的計算複雜度和靈活度遠遠超過前兩類需求。一是由於資料探勘問題開放性，導致資料探勘會涉及大量衍生變數計算，衍生變數多變導致資料預處理計算複雜性;二是很多資料探勘演算法本身就比較複雜，計算量就很大，特別是大量機器學習演算法，都是迭代計算，需要通過多次迭代來求最優解，例如k-means聚類演算法、pagerank演算法等。
從挖掘任務和挖掘方法的角度，著重突破：
**分析成功的7個秘訣
**未來一直是乙個冒險的命題。幸運的是，**分析技術的出現使得使用者能夠基於歷史資料和分析技術(如統計建模和機器學習)**未來的結果，這使得**結果和趨勢變得比過去幾年更加可靠。
儘管如此，與任何新興技術一樣，想要充分發揮**分析的潛力也是很難的。而可能使挑戰變得更加複雜的是，由不完善的策略或**分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內才會顯現出來。
**分析有可能徹底改變許多的行業和業務，包括零售、製造、**鏈、網路管理、金融服務和醫療保健。ai網路技術公司mist systems的聯合創始人、首席技術官bob fridy**:「深度學習和**性ai分析技術將會改變我們社會的所有部分，就像十年來網際網路和蜂窩技術所帶來的轉變一樣。」。
這裡有七個建議，旨在幫助您的組織充分利用其**分析計畫。
1.能夠訪問高質量、易於理解的資料
了解流入**分析模型的資料型別非常重要。「乙個人身上會有什麼樣的資料?」 eric feigl – ding問道，他是流行病學家、營養學家和健康經濟學家，目前是哈佛陳氏公共衛生學院的訪問科學家。「是每天都在facebook和谷歌上收集的實時資料，還是難以訪問的醫療記錄所需的醫療資料?」為了做出準確的**，模型需要被設計成能夠處理它所吸收的特定型別的資料。
簡單地將大量資料扔向計算資源的**建模工作注定會失敗。「由於存在大量資料，而其中大部分資料可能與特定問題無關，只是在給定樣本中可能存在相關關係，」factset投資組合管理和交易解決方案副總裁兼研究主管henri waelbroeck解釋道，factset是一家金融資料和軟體公司。「如果不了解產生資料的過程，乙個在有偏見的資料上訓練的模型可能是完全錯誤的。」
2.找到合適的模式
sap高階分析產品經理richard mooney指出，每個人都痴迷於演算法，但是演算法必須和輸入到演算法中的資料一樣好。「如果找不到適合的模式，那麼他們就毫無用處，」他寫道。「大多數資料集都有其隱藏的模式。」
模式通常以兩種方式隱藏:
3 .專注於可管理的任務，這些任務可能會帶來積極的投資回報
紐約理工學院的分析和商業智慧型主任michael urmeneta稱:「如今，人們很想把機器學習演算法應用到海量資料上，以期獲得更深刻的見解。」他說，這種方法的問題在於，它就像試圖一次**所有形式的癌症一樣。urmeneta解釋說:「這會導致問題太大，資料太亂——沒有足夠的資金和足夠的支援。這樣是不可能獲得成功的。」
而當任務相對集中時，成功的可能性就會大得多。urmeneta指出:「如果有問題的話，我們很可能會接觸到那些能夠理解複雜關係的專家」 。「這樣，我們就很可能會有更清晰或更好理解的資料來進行處理。」
4.使用正確的方法來完成工作
好訊息是，幾乎有無數的方法可以用來生成精確的**分析。然而，這也是個壞訊息。芝加哥大學norc (前國家意見研究中心)的行為、經濟分析和決策實踐主任angela fontes說:「每天都有新的、熱門的分析方法出現，使用新方法很容易讓人興奮」。「然而，根據我的經驗，最成功的專案是那些真正深入思考分析結果並讓其指導他們選擇方法的專案——即使最合適的方法並不是最**、最新的方法。」
羅切斯特理工學院計算機工程系主任、副教授shanchie jay yang建議說:「使用者必須謹慎選擇適合他們需求的方法」。「必須擁有一種高效且可解釋的技術，一種可以利用序列資料、時間資料的統計特性，然後將其外推到最有可能的未來，」yang說。
5.用精確定義的目標構建模型
對此，fontes也表示同意。「使用正確的工具肯定會確保我們從分析中得到想要的結果……」因為這迫使我們必須對自己的目標非常清楚，」她解釋道。「如果我們不清楚分析的目標，就永遠也不可能真正得到我們想要的東西。」
6.在it和相關業務部門之間建立密切的合作關係
在業務和技術組織之間建立牢固的合作夥伴關係是至關重要的。 客戶體驗技術提供商genesys的人工智慧產品管理副總裁paul lasserr說:「你應該能夠理解新技術如何應對業務挑戰或改善現有的業務環境。」然後，一旦設定了目標，就可以在乙個限定範圍的應用程式中測試模型，以確定解決方案是否真正提供了所需的價值。
7.不要被設計不良的模型誤導
模型是由人設計的，所以它們經常包含著潛在的缺陷。錯誤的模型或使用不正確或不當的資料構建的模型很容易產生誤導，在極端情況下，甚至會產生完全錯誤的**。
沒有實現適當隨機化的選擇偏差會混淆**。例如，在一項假設的**研究中，可能有50%的參與者選擇退出後續的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得複雜，因為在這樣的研究中，那些堅持參加這個專案的人通常是那些真正**的人。另一方面，戒菸者通常是那些很少或根本沒有**經歷的人。因此，雖然**在整個世界都是具有因果性和可**性的，但在乙個有50%退出率的有限資料庫中，實際的**結果可能會被隱藏起來。
六、大資料展現與應用技術
大資料技術能夠將隱藏於海量資料中的資訊和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的執行效率，大大提高整個社會經濟的集約化程度。
十分鐘了解演算法（3） 有趣的演算法
k最近鄰，就是k個最近的鄰居的意思，每個樣本都可以用它最接近的k個鄰居來代表。如果乙個樣本在特徵空間中的k個最相鄰的樣本中的大多數屬於某乙個類別，則該樣本也屬於這個類別，並具有這個類別上樣本的特性。1.特徵抽取 挑選合適的特徵 確定樣本的特徵值，建立n維座標軸 標出每個樣本的點，並使用畢達哥拉斯公式...
舌尖上的職場（五）我只有十分鐘！
你的時間，究竟值多少錢？昨天看到乙個賣橘者。我問 多少錢一斤啊？他說 多少錢，我怎麼會知道。不要亂問，隨便給點兒錢，拿走就是了。如果老孫當眾講這樣乙個段子，相信大家都會笑話我 哪兒會有這樣的人啊？然而，在職場上，還真有許多人，和賣橘者一樣，不知道自己賣的東西值多少錢。如今的世道其實很明白 乙個 時間...
舌尖上的職場（五）我只有十分鐘！
你的時間，究竟值多少錢？昨天看到乙個賣橘者。我問 多少錢一斤啊？他說 多少錢，我怎麼會知道。不要亂問，隨便給點兒錢，拿走就是了。如果老孫當眾講這樣乙個段子，相信大家都會笑話我 哪兒會有這樣的人啊？然而，在職場上，還真有許多人，和賣橘者一樣，不知道自己賣的東西值多少錢。如今的世道其實很明白 乙個 時間...