大講台大資料尖刀運維班

2021-10-14 16:42:07 字數 1455 閱讀 2631

1、從工作職責的運維和實施看:

運維工程師最基本的職責都是負責服務的穩定性,確保服務可以7*24h不間斷地為使用者提供服務,負責維護並確保整個服務的高可用性,同時不斷優化系統架構提公升部署效率、優化資源利用率;

實施工程師,以軟體實施工程師為例,主要負責工程實施: 包括常用作業系統、應用軟體及公司所開發的軟體安裝、除錯、維護,還有少部分硬體、網路的工作; 負責現場培訓: 現場軟體應用培訓; 協助專案驗收; 負責需求的初步確認;把控專案進度;與客戶溝通個性化需求; 負責專案維護。

2、從企業招聘的崗位說明看:

01 大資料運維通識

開學典禮及大資料核心概念、運維方向介紹

課程涉及元件:hdfs、yarn等11種元件介紹一

02 大資料集群規劃及部署

大資料集群規劃、平台選擇及主機準備工作

大資料集群的部署方式:cdh、hdp、社群版

集群其餘所需元件部署、介面機安裝

03 大資料集群監控、調優及安全

集群監控及調優:hdfs、yarn

集群監控及調優:hbase、kafka、zookeeper

hdfs acl、yarn佇列、kerberos、sentry等

企業級運維案例一:安裝配置、日常運維管理

04 企業級大資料運維案例

企業級運維案例二:測試、故障排查、高可用

大資料平台前期調研與規劃(1)

大資料平台前期調研與規劃(2)

05 大規模產線集群規劃配置及運維實戰

大資料平台前期調研與規劃(3)

iaas/jvm 命令、調優、排障

hdfs運維、巡檢、調優、排障(一)

hdfs運維、巡檢、調優、排障(二)

yarn運維、巡檢、調優、排障(一)

yarn運維、巡檢、調優、排障(二)

hbase運維、巡檢、調優、排障(一)

hbase運維、巡檢、調優、排障(二)

kafka運維、巡檢、調優、排障

zookeeper巡檢、調優、排障和cm監控告警

06 大資料智慧型運維平台開發:多維畫像、監控、告警

資源佇列監控、hdfs畫像

作業畫像、冗餘計算畫像、rpc畫像

基於flink的使用者操作行為實施監控告警實戰

07 大資料運維之原始碼分析

大資料倉儲、大資料治理實踐

kafka + flink原始碼解析、作業提交原始碼解析

08 大資料治理:維護好企業資料資產池

namenode、datanode block上報等原始碼解析

四步打造企業資料資產池

09 docker與k8s大資料容器化技術實戰

k8s入門介紹、集群搭建、資源型別介紹

k8s網路架構、儲存型別與監控介紹

k8s安全認證、映象倉庫管理、helm應用實戰

k8s業務部署、微服務框架、容器化案例實戰

10 課程總結及簡歷、面試指導

課程總結及簡歷、面試指導

大講台談如何運用大資料完善資料中心平台

隨著大資料的各個領域的深入應用,大資料的價值正逐漸凸顯,而大資料的核心價值在於從海量的複雜資料中挖掘出有價值的資訊,通過大資料技術進行更快地分析 更準確地 發掘出新的業務模式,創造新的商業發展機會。因此,大資料時代下,企業迫切需要思考如何應用大資料技術改造完善已有資料中心平台,提公升企業的資料處理能...

大資料運維 結語 大資料運維,大有作為

高俊峰 南非螞蟻 你好,看到這裡,恭喜你學完了本專欄的全部內容。本專欄的定位是零基礎入門大資料運維,所以你學習的內容更多是關於大資料平台各個元件的安裝 部署和配置,這些技術看似簡單,但操作起來,其實一點也不簡單。大資料平台中涉及的技術,都需要 理解原理 執行機制 才能順利完成配置,也只有完成了安裝部...

MONGODB大資料運維管理

資料庫管理 備份mongodb伺服器 執行mongodump 預設使用本地連線127及埠連線本地資料庫 資料庫恢復到備份之前的狀態 mongorestore drop drop選項告訴mongorestore工具,在恢復集合之前先丟棄現有的資料,如果不使用該選項,被恢復的資料將被追加到每個集合的尾部...