拉勾訓練營 大資料攀登之路

2021-10-09 19:55:46 字數 1279 閱讀 1868

八月份知道有【拉勾大資料訓練營第二期】的訊息就很果斷地加入了,我是自學過一段時間並成功轉行,選擇拉勾的原因主要有:

1.想要有乙個完整的大資料知識架構

2.體驗實實在在公司級別的專案流程

3.進大廠的機會

這些拉勾訓練營都能做到!

1.1 hadoop 框架核心

從 狹義 的層⾯來說,hadoop 就是由 doug cutting 根據⾕歌三篇論⽂:《googlefs》《mapreduce》《bigtable》開發的 分布式系統基礎框架。

從 ⼴義 的層⾯看,hadoop 不僅僅指⾃⾝單獨的框架,還包括了整個 hadoop ⽣態圈,⽽ hadoop ⽣態圈共同努⼒做的⼀件事就是 如何以更低成本、更⾼效率從多種多樣的資料海中挖掘出最有價值的資料並加以利⽤。這是 hadoop 產⽣並不斷發展的原因。

如果要⽤⽐較通俗的話來解釋 hadoop 的分布式,把⼀個⼀個伺服器⽐作隊友,拿到的資料⽐作敵⼈的話,就是隊友們團結起來各⾃貢獻出⾃⼰的⼒量和資源,同時要把敵⼈打散逐個擊破。當然,這樣⼀句話並不能完全釋得通,只是為了更好地理解和記憶。

1.1.1 hdfs

1.1.2 mapreduce

1.1.3 yarn

1.2 hadoop 生態圈技術棧

1.2.1 數倉工具_hive(更新中)

1.2.2 互動工具_hue(更新中)

1.2.3 資料採集工具_flume(更新中)

1.2.4 etl 工具_sqoop(更新中)

2.1 apache 版(更新中)

2.2 cdh 版

2.2.1 standalone 環境搭建(舊版本,之後會更替為新版)

2.2.2 偽分布模式環境搭建(舊版本,之後會更替為新版)

2.2.3 完全分布式環境搭建(舊版本,之後會更替為新版)

2.2.4 ha 模式集群環境搭建(舊版本,之後會更替為新版)4.1 hue 與 hadoop 整合

4.2 hue 與 hive 整合

4.3 hue 與 mysql 整合

4.4 hue 與 impala 整合

1. hadoop-hdfs 目錄無許可權,datanode 啟動失敗

2. 無法初始化 hive 元資料

3. 使用 prefix=path make install 編譯 hue 報錯:……setuptools pip wheel failed with error code 2

黑馬訓練營 優化大資料插入

asp.net android ios開發 net培訓 期待與您交流!利用普通的方法進行大資料的插入,速度十分的慢。如圖可見,25萬8千條資料的插入,按照普通的方案,即便是獨佔connection不斷開,也需要將近20分鐘。而對比bulk僅需要將近4秒鐘,對比差距很大。而bulk僅僅是開始,我們繼續...

資料結構與演算法訓練營

學習過程 cliarifation 確定題目 possible solutions 盡可能的多思考解題方式 coding 多寫 test case 寫測試用例 讀題 思考 直接看解法,比較不同解法的優劣 背誦 默寫 自己寫多種解法比較 一天之後反覆練習 一周之後再練習 面試之前恢復訓練 資料結構分類...

資料科學訓練營第五期

課前預習 python基礎 實訓營學習經驗與捷徑 20180213.mp4 課前預習 雲平台使用 python基礎 20180213.mp4 第1講 google python指南與資料科學python高階 20180331.mp4 第2講 pandas series dataframe 20180...