中午睡覺, 夢到一群母蜘蛛圍攻我, 我卻不能動, 苦苦掙扎在**聲中驚醒
醒來後, 繼續工作, 突然發現伺服器磁碟占用100%, 操作巨卡, 一臉問號
然後將istio全部刪除, 集群還是卡, 節點丟失
最後重啟了各個節點的kubelet, 集群正常了
但是呢, 很多掛載pv的pod一直create狀態, 然後describe一下, 發現pvc無法掛載
這種情況一般是pvc被其他哥們強佔, 所以按照經驗是這種路子, 然後分析了, 發現沒有活著的哥們強佔他
想起之前的情況:
不知什麼原因, 和rook掛載後出現pod迷失的情況, 也就是無法刪除並且留在了node上, 重啟kubelet, 檢視allkube可以看到沒了
但是呢, 目標node一直報錯
jul 5 00:17:28 localhost kubelet: e0705 00:17:28.138366 938 kubelet_volumes.go:128] orphaned pod "94d9dcc1-7ee6-11e8-95bf-000c29ab3f28" found, but volume paths are still present on disk : there were a total of 1 errors similar to this. turn up verbosity to see them.
解決方式: cd /var/lib/kubelet/pods 刪除報錯對應的資料夾, 刪除不了只能先重啟機器
那麼是什麼原因造成pod迷失的呢, 是由於kubelet不正常被kill了
pod迷失後, k8s會自動部署該pod新的例項, 而迷失的pod還持有原pvc的掛載, 因此如果pvc的策略是rwo, 那麼新的例項無法掛載
這個時候得尋找這個迷失pod的節點
需要檢視kubelet的日誌, 找到出現上述錯誤的節點kubelet, 按照上述操作乾死
乾死後新的例項也是無法起來的, 使用k8s將新例項乾死,
這時候又是坑中坑, 一直是terminating狀態, 無法乾死
這個時候, 檢視這個新例項的node, 到node上重啟kublet即可乾死它, 最好確認下該node的kubelet日誌
重新部署該pod, 還是起不來, 報錯無法掛載pvc
一看ceph監控嚇一跳
檢視osd的日誌
這裡osd保證集群健康的方式是osd之間互相的heat, 按照這個ip找到了集群中的osd例項, 發現真的無法ping通
直接ping該ods例項所在node的docker0埠, 發現仍然無法ping通, 排除了osd容器的問題, 是node的網路問題
最後搞笑的發現是ping其他節點的這台主機網路有問題,
最後發現是3臺master的網路出了問題, 有點麻煩!!!
分析後, 類似網路覆蓋**,
master之間可以通, 而node之間也可以通, 但master和node之間無法通行
檢視master的ip a
flanneld的overlay有2個網段!!! 蛋疼蛋疼 (這裡後面在細細記錄了~)
首先想到是重啟master的flanneld和docker,
一台一台來, 否則導致docker, flanneld, etcd互相依賴起不來, 集群gg
無效重啟node的flaneld和docker
無效重啟node的kubelet
無效崩潰~~
重啟master的flanneld, docker, kubelet, kube-proxy
無效萬般無奈, 不如直接重啟master, **媽的
重啟後flanneld的overlay只有1個子網段了
ping之後發現ok了~
隨之按此方法依次重啟另外兩台master, 最後發現還有幾台node, 也重啟下解決
最後ceph集群全部正常
重新嘗試部署新例項
部署成功, 並且成功載入pvc, 資料沒丟, 只是丟了一段剛剛宕機時間的監控資料
一臉驚嘆~
一語驚醒夢中人
今天也算是對前面的那篇文章的後續吧。後來e走了，可以說沒什麼驚天動地的，一切都在意料之中，走是遲早的事，就在他走時，那個週末大家又聚了一下，其實每次人走了我們也都聚，這次我感覺很難過，為什麼我還沒走呢？苦不堪言，那天還是我們幾個加上測試幾個美女，大家在一起真的很開心，沒有了那種虛偽，沒有了壓力，我好...
夢中誰人知誰一現，沉靡隨浮
qq個性簽名 夢中誰人知誰一現，沉靡隨浮 看淡了所有只剩下你的容顏。聽盡了全部只留下你的細語。我曾愛過你，勝過愛著我自己 我願守護你，不離不棄的守護 當你成功時，誰還會在乎你的過去.當你失敗時，誰還會記得你的成功.不是每一次你回頭，都會有人在你身後。可是每一次你回頭，我都會站在你身後。我抹花了妝 只...