從事運維一年半,遇到過各式各樣的問題,資料丟失,**掛馬,誤刪資料庫檔案,黑客攻擊等各類問題,今天想簡單整理一下,分享給各位小夥伴。
一、線上操作規範
1.測試使用
當初學習linux的使用,從基礎到服務到集群,都是在虛擬機器做的,雖然老師告訴我們跟真機沒有什麼差別,可是對真實環境的渴望日漸上公升,不過虛擬機器的各種快照卻讓我們養成了各種手賤的習慣,以致於拿到伺服器操作許可權時候,就迫不及待的想去試試,記得上班第一天,老大把root密碼交給我,由於只能使用putty,我就想使用xshell,於是悄悄登入伺服器嘗試改為xshell+金鑰登入,因為沒有測試,也沒有留乙個ssh連線,所有重啟sshd伺服器之後,自己就被擋在伺服器之外了,幸好當時我備份了sshd_config檔案,後來讓機房人員cp過去就可以了,幸虧這是一家小公司,不然直接就被幹了……慶幸當年運氣比較好。
第二個例子是關於檔案同步的,大家都知道rsync同步很快,可是他刪除檔案的速度大大超過了rm -rf,在rsync中有乙個命令是,以某目錄為準同步某檔案(如果第乙個目錄是空的,那麼結果可想而知),源目錄(有資料的)就會被刪除,當初我就是因為誤操作,以及缺乏測試,就目錄寫反了,關鍵是沒有備份……生產環境資料被刪了,沒備份,大家自己想後果吧,其重要性不言而喻。
2.enter前再三確認
關於rm -rf / var 這種錯誤,我相信手快的人,或者網速比較慢的時候,出現的機率相當大,當你發現執行完之後,你的心至少是涼了半截。
大家可能會說,我按了這麼多次都沒出過錯,不用怕,我只想說,當出現一次你就明白了,不要以為那些運維事故都是在別人身上,如果你不注意,下乙個就是你。
3.切忌多人操作
我在的上一家公司,運維管理相當混亂,舉乙個最典型的例子吧,離職好幾任的運維都有伺服器root密碼。
4.先備份後操作
養成乙個習慣,要修改資料時,先備份,比如.conf的配置檔案,另外,修改配置檔案時,建議注釋原選項,然後再複製,修改。
再者說,如果第乙個例子中,有資料庫備份,那rsync的誤操作不久沒事了吧。所以說丟資料庫非一朝一夕,隨便備份乙個就不用那麼慘。
二、涉及資料
1.慎用rm -rf
網上的例子很多,各種rm -rf /,各種刪除主資料庫,各種運維事故……一點小失誤就會造成很大的損失。如果真需要刪除,一定要謹慎。
2.備份大於一切
本來上面都有各種關於備份,但是我想把它劃分在資料類再次強調,備份非常之重要哇,我記得我的老師說過一句話,涉及到資料何種的謹慎都不為過。我就職的公司有做第三方支付**和網貸平台的,第三方支付是每兩個小時完全備份一次,網貸平台是每20分鐘備份一次。我不多說了,大家自己斟酌吧。
3.穩定大於一切
其實不止是資料,在整個伺服器環境,都是穩定大於一切,不求最快,但求最穩定,求可用性,所以未經測試,不要再伺服器使用新的軟體,比如nginx+php-fpm,生產環境中php各種掛啊,重啟下就好了,或者換apache就好了。
4.保密大於一切
現在各種***門漫天飛,各種路由器後門,所以說,涉及到資料,不保密是不行的。
三、涉及安全
1. ssh
2. 防火牆
防火牆生產環境一定要開,並且要遵循最小原則,drop所有,然後放行需要的服務埠。
3.精細許可權和控制粒度
能使用普通使用者啟動的服務堅決不使用root,把各種服務許可權控制到最低,控制粒度要精細。
4.入侵檢測和日誌監控
另外針對埠掃瞄,也可以使用一些第三方軟體,發現被掃瞄就直接拉入host.deny。這些資訊對於系統被入侵後排錯很有幫助。有人說過,乙個公司在安全投入的成本跟他被安全攻擊損失的成本成正比,安全是乙個很大的話題,也是乙個很基礎的工作,把基礎做好了,就能相當的提高系統安全性,其他的就是安全高手做的了。
四、日常監控
1.系統執行監控
好多人踏入運維都是從監控做起,大的公司一般都有專業24小時監控運維。系統執行監控一般包括硬體佔用率,常見的有,記憶體,硬碟,cpu,網絡卡,os包括登入監控,系統關鍵檔案監控,定期的監控可以**出硬體損壞的概率,並且給調優帶來很實用的功能。
2.服務執行監控
服務監控一般就是各種應用,web,db,lvs等,這一般都是監控一些指標,在系統出現效能瓶頸的時候就能很快發現並解決。
3.日誌監控
這裡的日誌監控跟安全的日誌監控類似,但這裡一般都是硬體,os,應用程式的報錯和警報資訊,監控在系統穩定執行的時候確實沒啥用,但是一旦出現問題,你又沒做監控,就會很被動了。
五、效能調優
1.深入了解執行機制
其實按一年多的運維經驗來說,談調優根本就是紙上談兵,但是我只是想簡單總結下,如果有更深入的了解,我會更新。
在對軟體進行優化之前,比如要深入了解乙個軟體的執行機制,比如nginx和apache,大家都說nginx快,那就必須知道nginx為什麼快,利用什麼原理,處理請求比apache,並且要能跟別人用淺顯易懂的話說出來,必要的時候還要能看懂源**,否則一切以引數為調優物件的文件都是瞎談。
2.調優框架以及先後
熟悉了底層執行機制,就要有調優的框架和先後順序,比如資料庫出現瓶頸,好多人直接就去更改資料庫的配置檔案,我的建議是,先根據瓶頸去分析,檢視日誌,寫出來調優方向,然後再入手,並且資料庫伺服器調優應該是最後一步,最先的應該是硬體和作業系統,現在的資料庫伺服器都是在各種測試之後才會發布的,適用於所有作業系統,不應該先從他入手。
3.每次只調乙個引數
每次只調乙個引數,這個相比大家都了解,調的多了,你就自己就迷糊了。
4.基準測試
判斷調優是否有用,和測試乙個新版本軟體的穩定性和效能等方面,就必須要基準測試了,測試要涉及很多因素,測試是否接近業務真實需求這要看測試人的經驗了,相關資料大家可以參考《高效能mysql》第三版,相當的好。我的老師曾說過,沒有放之四海皆準的引數,任何引數更改任何調優都必須符合業務場景,所以不要再谷歌什麼什麼調優了,對你的提公升和業務環境的改善沒有長久作用。
六、運維心態
1.控制心態
很多rm -rf /data都在下班的前幾分鐘,都在煩躁的高峰,那麼你還不打算控制下你的心態麼,有人說了,煩躁也要上班,可是你可以在煩躁的時候盡量避免處理關鍵資料環境。越是有壓力,越要冷靜,不然會損失更多。
大多人都有rm -rf /data/mysql的經歷,發現刪除之後,那種心情你可以想象一下,可是如果沒有備份,你急又有什麼用,一般這種情況下,你就要冷靜想下最壞打算了,對於mysql來說,刪除了物理檔案,一部分表還會存在記憶體中,所以斷開業務,但是不要關閉mysql資料庫,這對恢復很有幫助,並使用dd複製硬碟,然後你再進行恢復,當然了大多時候你就只能找資料恢復公司了。
試想一下,資料被刪了,你各種操作,關閉資料庫,然後修復,不但有可能覆蓋檔案,還找不到記憶體中的表了。
2.對資料負責
生產環境不是兒戲,資料庫也不是兒戲,一定要對資料負責。不備份的後果是非常嚴重的。
3.追根究底
很多運維人員比較忙,遇到問題解決就不會再管了,記得去年乙個客戶的**老是打不開,經過php**報錯,發現是session和whos_online損壞,前任運維是通過repair修復的,我就也這樣修復了,但是過了幾個小時,又出現了。反覆三四次之後,我就去谷歌資料庫表莫名損壞原因:一是myisam的bug,二是mysqlbug,三是mysql在寫入過程中被kill。最後發現是記憶體不夠用,導致oom kill了mysqld程序。並且沒有swap分割槽,後台監控記憶體是夠用的,最後公升級物理記憶體解決。
4.測試和生產環境
在重要操作之前一定要看自己所在的機器,盡量避免多開視窗。
以上幾點是我自己工作體會,希望能給部分運維人員帶來一些幫助,如有不足,歡迎指教。
運維經驗分享 關於系統運維監控的幾點建議
為了更好 更有效的保障系統上線後的穩定的執行。對於伺服器的硬體資源 效能 頻寬 埠 程序 服務等都必須有乙個可靠和可持續的監測機制,統計分析每天的各種資料,從而能及時反映出伺服器 存在效能瓶頸 安全隱患等。另外是要有危機意識,就是了解伺服器有可能出現哪些嚴重的問題,出現這些問題後該如何去迅速處理。比...
運維經理的運維經驗總結(值得收藏)
1.網域名稱從買網域名稱開始,要買多個網域名稱,50個甚至100個。分為主網域名稱和推廣網域名稱 給推廣鏈結用的 要從godaddy上買網域名稱,由於這裡的網域名稱穩固,不會出現被攻擊等事變。同時還要買網域名稱保護,如許網際網路使用者ping這個網域名稱就剖析不到真實的辦事器地點。同時網域名稱解析的...
Linux系統運維前輩給新手經驗分享
linux運維都是做什麼的?linux運維工程師可以做的工作按照招聘 上的名稱來分有 大中型網路工程師或者網路管理員 linux unix網路工程師 系統整合售前工程師 網路方案實施工程師 售後技術支援工程師 郵件伺服器管理員 網路安全工程師 sql資料庫管理員 維護工程師 網路的安全顧問 php企...