NFS未解之謎之IO持續占用問題

2021-09-27 05:14:22 字數 2595 閱讀 3390

某核心交易庫,報警iowait超過30%,看似很普通的一條告警,實則暗藏玄機;登陸主機檢視到有很多rman備份指令碼在跑;

平時不到一小時的任務,跑了6個多小時了。

該備份任務通過nfs掛載的方式,懷疑是nfs有問題,

果然,進入到mount目錄,ll都無法正常顯示結果,卡住不動,隨即到備份伺服器上面,也就是nfs server檢視有沒有異常,發現之前部署的乙個監控指令碼,在平時load和io都很低。與今天故障時間段不太一樣。

返回到備份客戶端伺服器,ps -ef |grep nfs發現有很多cat程序

[root@trandb1 log]# ps -ef |grep nfs

root 9700 2 0 2017 ? 00:00:00 [nfsv4.0-svc]

oracle 88889 88888 0 10:05 ? 00:00:01 cat ./nfs/full_data_trandb_20190619_9868_1

oracle 90224 90223 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9888_1

oracle 90566 90565 0 10:06 ? 00:00:00 cat ./nfs/full_data_trandb_20190619_9872_1

oracle 90571 90570 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190619_9869_1

oracle 90576 90575 0 10:06 ? 00:00:00 cat ./nfs/full_data_trandb_20190619_9872_1

oracle 90584 90583 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190619_9868_1

oracle 90588 90587 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9884_1

oracle 90593 90592 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9885_1

oracle 90597 90596 0 10:06 ? 00:00:00 cat ./nfs/full_data_trandb_20190619_9865_1

oracle 90606 90605 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9881_1

oracle 90616 90615 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190619_9871_1

oracle 90626 90625 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9887_1

oracle 90631 90630 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9888_1

oracle 90641 90640 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190619_9871_1

oracle 90645 90644 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9880_1

oracle 91999 91998 0 10:06 ? 00:00:00 cat ./nfs/full_data_trandb_20190620_9883_1

oracle 92488 92487 0 10:06 ? 00:00:01 cat ./nfs/full_data_trandb_20190620_9880_1

oracle 93837 93836 0 10:07 ? 00:00:00 cat ./nfs/arch_trandb_20190620_9890_1

oracle 94011 94010 0 10:07 ? 00:00:00 cat ./nfs/full_data_trandb_20190620_9886_1

oracle 94238 94237 0 10:07 ? 00:00:01 cat ./nfs/full_data_trandb_20190619_9865_1

root 98024 17863 0 10:09 pts/7 00:00:00 grep nfs

root 130976 2 0 2017 ? 00:00:00 [nfsiod]

通過作業系統kill掉這些pid,但是立馬就會派生出來。後umount掉目錄後,沒有了。暫時沒有找出原因,記錄一下。

未解之謎與已解之謎

使用連線符 輸出雙引號public class test 輸出單引號 直接寫當引號system.out.println class aritest num1和num2資料型別為int,所以經過除運算之後 的結果自動轉化為int 2 再 num2,所以輸出結果為10.同理double result3 ...

python 未解之謎

本人的 python numpy 安裝應該是沒有問題的 但是執行 機器學習系統設計 源 卻出了問題 原始碼如下 from sklearn.datasets import load iris import numpy as np data load iris features data data la...

CSS未解之謎

今天再幫同事除錯乙個樣式的問題時,我發現了乙個很神奇的現象,而其中的原由我個人卻不得而知,現記錄如下,待日後破解。123 奇怪的樣式表現如下 可以看到inner的margin bottom只有一半,另一半神奇的消失了,改變margin left的值,會發現margin bottom一起變化,當mar...