背景
近年來大資料bigdata、人工智慧ai、物聯網iot等行業發展迅猛，很多人都想要從事大資料技術開發工作，但是，請問要怎麼做，路線是什麼？從**開始學？學哪些？這是乙個大問題。對於我自己來說，最近也在學一些大資料開發相關的技術，所以之前整理了乙份《大資料技術學習路線》，希望對你有所幫助。
學習規劃
總共分為五大部分，分別是：
大資料技術基礎
離線計算hadoop
流式計算storm
記憶體計算spark
機器學習演算法
目前我學完了約60%的內容，但還有很多需要多實踐、和深研的地方，我也在繼續學習，和摸索當中。希望你早日能成為大資料技術開發中的一員，然後大家一起學習，和技術交流。
技術說明
這裡我只列舉了技術點，給你提供了乙個學習方向，具體實現內容可以借助網路去學習了，相信這方面你應該懂得了如何借助網路力量，然後進行自我學習了。
java大資料運算
大數運算類似的文章有很多，本文主要分享一下自己的經驗。把實現思路寫一下，希望能夠幫助到有需要的人。關於整數的運算通常有byte short int long，當時數字有20位或者更長的時候，原有的資料型別已經不能使用，所以需要大數的運算，實現如下 實現大數的運算 通過byte陣列運算，實現了進製的靈...
大資料學習
1.資料清洗 洗掉髒資料，對資料最後一步審核和糾正，包括一致性檢查，無效資料，不完整資料，衝突資料，重複資料等的處理，計算機自動完成。2.資料傾斜 資料傾斜就是我們在計算資料的時候，資料的分散度不夠，導致大量的資料集中到了一台或者幾台機器上計算，這些資料的計算速度遠遠低於平均計算速度，導致整個計算過...
大資料學習
hadoop的hdfs和mapreduce子框架主要是針對大資料檔案來設計的，在小檔案的處理上不但效率低下，而且十分消耗記憶體資源 每乙個小檔案占用乙個block,每乙個block的元資料都儲存在namenode的記憶體裡 解決辦法通常是選擇乙個容器，將這些小檔案組織起來統一儲存。hdfs提供了兩種...