今天來給大家分享下這兩天遇到的乙個問題,伺服器被挖礦了,把我的排查記錄分享下,希望能幫到有需要的同學。
問題原因
多台伺服器持續告警cpu過高,伺服器為k8s的應用節點,正常情況下cpu使用率都挺低的,通過排查是原因是被挖礦了,下面為定位過程
定位過程
登陸問題主機10.92.0.x,通過執行top命令檢視資源使用情況如下
cpu使用率基本跑滿(使用者態),沒有發現可疑的程序,初步懷疑可能是程序在**隱藏了
執行命令ps -aux --sort=-pcpu|head -10
嗯哼,藏得夠深的,可還是被揪出來啦
這個eta可能是起的乙個守護程序,用於喚起上面圈起來的python程序,
注意:這個執行檔案會修改伺服器的一些配置,如dns,hosts,定時任務,建立可執行檔案
檢視dns
果然dns被修改了
檢視定時任務
一般情況使用crontab -l是看不到的,需要檢視/etc/crontab,
發現定時任務被加入了一條
根據定時任務中的可疑檔案所在路徑/usr/lib/libiacpkmn.so.3,
排查中發現/etc/rc.d/init.d/,/usr/bin/存在可執行檔案nfstruncate,
在rc0.d-rc6.d目錄下都存在s01nfstruncate檔案,可能是自啟動檔案
現在排查的很明朗了,接下來著手清理工作
1. 阻斷挖礦程式鏈結外網服務(很重要)
在/etc/hosts裡增加一條
127.0.0.1 g.upxmr.com
2. 乾掉可疑程式「ata」程序
[root@dtdream-common-prod-nginx-03 ~]# kill -9 70497
再次檢視發現cpu使用率降下來了,挖礦程式也沒啟動了。
3. 刪除定時任務及檔案
根據上面定時任務截圖,需要徹底刪除該指令碼檔案 /usr/lib/libiacpkmn.so.3 。
執行
[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/lib/libiacpkmn.so.3
結果顯示刪除檔案沒許可權,很奇怪,使用
[root@dtdream-common-prod-nginx-03 ~]#lsattr /usr/lib/libiacpkmn.so.3
發現檔案被鎖住了,很好解決,解鎖再刪就行了。
[root@dtdream-common-prod-nginx-03 ~]#chattr -i /usr/lib/libiacpkmn.so.3[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/lib/libiacpkmn.so.3
刪除nfstruncate
[root@dtdream-common-prod-nginx-03 ~]#chattr -i /usr/bin/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/bin/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#chattr -i /etc/init.d/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#rm -rf /etc/init.d/nfstruncate
刪除軟連
[root@dtdream-common-prod-nginx-03 ~]# find / -name "s01nfs*"/etc/rc.d/rc1.d/s01nfstruncate/etc/rc.d/rc2.d/s01nfstruncate/etc/rc.d/rc4.d/s01nfstruncate/etc/rc.d/rc3.d/s01nfstruncate/etc/rc.d/rc6.d/s01nfstruncate/etc/rc.d/rc5.d/s01nfstruncate/etc/rc.d/rc0.d/s01nfstruncate[root@dtdream-common-prod-nginx-03 ~]#find / -name "s01nfs*"|xargs rm -f
操作完之後, 長時間觀察cpu無再公升高
結論:問題是初步解決了,但是根源還沒找到,因為我們的服務都是部署在內網的,挖礦程式是從哪個入口侵入的還有待排查
這次分享希望對也中挖礦程式的同學, 提供一些排查思路
往期文章一覽
1、kubernetes集群搭建之系統初始化配置篇
2、kubernetes集群搭建之企業級環境中基於harbor搭建自己的私有倉庫
3、kubernetes集群搭建之etcd集群配置篇
4、kubernetes集群搭建之cni-flanneld部署篇
5、kubernetes集群搭建之master配置篇
6、kubernetes系列之coredns and dashboard介紹篇
阿里雲被挖礦程序wnTKYg入侵的解決方法
殺wntkyg病毒分兩步,第一是找到它的 切斷入口,第二步,找到它的守護程序並殺死,然後再去殺死病毒程序,有的守護程序很隱蔽,喚醒病毒之後,自動消亡,這時候top就看不到了,要留心。最近專案在做效能測試,發現cpu使用率異常,無人訪問時cpu也一直保持75 然後在xshell上top了一下,發現wn...
伺服器被入侵(minerd挖礦程式)
一 問題說明 1 我的伺服器是使用的阿里雲的centos,收到的阿里雲發來的提示郵件如下 所謂 挖礦 實質上是用計算機解決一項複雜的數學問題,來保證位元幣網路分布式記賬系統的一致性。位元幣網路會自動調整數學問題的難度,讓整個網路約每10分鐘得到乙個合格答案。隨後位元幣網路會新生成一定量的位元幣作為賞...
linux程序隱藏
1.系統命令替換,通過stat檢視檔案狀態修改,md5sum檢視hash是否匹配,如果要修復,將正常檔案複製回來即可。2.hook系統呼叫,在呼叫鏈中修改惡意庫,造成惡意呼叫實現隱藏。查詢此類 通過sysdig proc.name ps檢視ps的呼叫 找到惡意的動態庫即可。也可以檢視環境變數ld p...