運維那些事

2021-09-02 00:11:55 字數 2006 閱讀 5409

運維,這裡指網際網路運維,通常屬於技術部門,與研發、測試、系統管理同為網際網路產品技術支撐的4大部門,這個劃分在國內和國外以及大小公司間都會多少有一些不同。乙個網際網路產品的生成一般經歷的過程是:產品經理、需求分析、研發部門開發、測試部門測試、運維部門部署發布以及長期的執行維護。

對於初創公司,運維部和系統部一般是合二為一的,相關工作由同一批人負責,界限可能不是很明顯。大型公司對運維工作的要求更高,需要有更精細的分工,因此機房/網路/作業系統相關的底層工作分離出來由專人負責,成為系統管理部,而上層和應用產品相關的工作則由運維負責,成為運維部。以下從網際網路產品生命週期和運維涉及的技術分別來看分工較細的大型網際網路公司中運維工作的職責

1.服務監控技術:包括監控平台的研發、應用,服務監控準確性、實時性、全面性的保障

2.服務故障管理:包括服務的故障預案設計,預案的自動化執行,故障的總結並反饋到產3.品/系統的設計層面進行優化以提高產品的穩定性

4.服務容量管理:測量服務的容量,規劃服務的機房建設,擴容、遷移等工作

5.服務效能優化:從各個方向,包括網路優化、作業系統優化、應用優化、客戶端優化6.等,提高服務的效能和響應速度,改善使用者體驗

6.服務全域性流量排程:接入服務的流量,根據容量和服務狀態在各個機房間分配流量

7.服務任務排程:服務的各種定時/非定時任務的排程觸發及狀態監控

8.服務安全保障:包括服務的訪問安全、防攻擊、許可權控制等

9.資料傳輸技術:包括p2p等各類傳輸技術的研發應用,也遠距離大資料傳輸等問題的解決

10.服務自動發布部署:部署平台/工具的研發,及平台/工具的使用,做到安全、高效的發布服務

11.服務集群管理:包括服務的伺服器管理、大規模集群管理等

12.服務成本優化:盡可能降低服務執行使用的資源,降低服務執行成本

13.資料庫管理(dba):通過設計、開發和管理高效能資料庫集群,使資料庫服務更穩定、更高效、更易於管理。

14.平台化的開發:類docker和google borg平台的開發管理,及服務接入技術

15.分布式儲存平台的開發優化:類google gfs等分布式儲存平台的研發及服務接入

1.web伺服器:apache、tomcat、nginx、lighttpd

2.監控:nagios、ganglia、cacti、zabbix

3.自動部署:ansible、sshpt、salt

4.配置管理:puppet、cfengine

5.負載均衡:lvs、haproxy、nginx

6.傳輸工具:scribe、flume

7.備份工具:rsync、wget

8.資料庫:mysql、oracle、sqlserver

9.分布式平台:hdfs、mapreduce、spark、storm、hive

10.分布式資料庫:hbase、cassandra、redis、mongodb

11.容器:lxc、docker

12.虛擬化:openstack、xen、kvm

13.安全:kerberos、selinux、acl、iptables

14.問題追查:netstat、top、tcpdump、last

1.從行業角度來看,隨著中國網際網路的高速發展、**規模越來越來大、架構越來越複雜,對專職**運維工程師、**架構師的要求會越來越急迫,特別是對有經驗的優秀運維人才需求量大,而且是越老越值錢。

2.從個人角度,運維工程師技術含量及要求會越來越高,同時也是對公司應用、架構最了解最熟悉的人、越來越得到重視。

3.網際網路運維是乙個融合多學科(網路、系統、開發、安全、應用架構、儲存等)的綜合性技術崗位,給運維工程師提供了乙個很好的個人能力與技術的發展空間。

4.運維工作的相關經驗將會變得非常重要,而且也將成為個人的核心競爭力,優秀的運維工程師具備很好的各層面問題的解決能力及方案提供、全域性思考的能力等。

5.由於運維崗位所接觸的知識面非常廣闊,更容易培養或發揮出個人某些方面的特長或愛好,如核心、網路、開發、資料庫等方面,可以做得非常深入精通、成為這方面的專家。

6.當前國內外對運維人才的需求非常迫切,運維工程師的薪資也水漲船高,與研發、測試等技術部門持平,甚至超出。

Hadoop運維那些事

在實際的生產環境運維乙個hadoop集群有一些必須要關注的事情。1 namenode的高可靠性 2 節點配置與管理 3 mapreduce的記憶體配置 4 啟用trash 首要的是保證資料安全可靠,其次再去考慮儲存效率 計算效率 運維效率的優化與提高,當你覺得hadoop集群的效能太差太差的時候,其...

運維那點事

前言 泛泛而談 最近一直在幫張琦老師弄一些課程安排的事情,也順便聊了聊現有培訓機制需要改革的方向,拒絕填鴨式的教育是當務之急,討論之餘寫下這篇文章,僅此紀念,別無他意。有競爭力的運維人員應該考慮什麼?且聽熊熊慢慢道來 執行的職能 包括減少系統宕機時間 依賴各種文件尋找解決方案 根據實際情況進行裝置更...

運維那點事

前言 泛泛而談 最近一直在幫張琦老師弄一些課程安排的事情,也順便聊了聊現有培訓機制需要改革的方向,拒絕填鴨式的教育是當務之急,討論之餘寫下這篇文章,僅此紀念,別無他意。有競爭力的運維人員應該考慮什麼?且聽熊熊慢慢道來 執行的職能 包括減少系統宕機時間 依賴各種文件尋找解決方案 根據實際情況進行裝置更...