内容简介:环境:Rancher管控的K8S集群。现象:某个Node频繁出现“PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s”错误,频率在5-10分钟就会出现一次。排查:
环境:Rancher管控的K8S集群。
现象:某个Node频繁出现“PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s”错误,频率在5-10分钟就会出现一次。
排查:
-
kubectl get pods --all-namespaces发现有一个istio-ingressgateway-6bbdd58f8c-nlgnd一直处于Terminating状态,也就是说杀不死。 -
到Node上
docker logs --tail 100 kubelet也看到这个Pod的状态异常:I0218 01:21:17.383650 10311 kubelet.go:1775] skipping pod synchronization - [PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s] ... E0218 01:21:30.654433 10311 generic.go:271] PLEG: pod istio-ingressgateway-6bbdd58f8c-nlgnd/istio-system failed reinspection: rpc error: code = DeadlineExceeded desc = context deadline exceeded
-
用
kubelet delete pod尝试删除,命令挂住。 -
用
kubectl delete pod --force --grace-period=0,强制删除Pod。 -
再到Node上检查这个容器是否真的被停止,
docker ps -a| grep ingressgateway-6bbdd58f8c-nlgnd,看到容器处于Exited状态。 - 观察Node状态,问题依旧。
-
把Pod关联的Deployment删除,把一只处于Terminating的Pod用
kubectl delete pod --force --grace-period=0的方式删除。 - 重新部署Deployment。
- 问题解决。
相关 issue
以上所述就是小编给大家介绍的《Kublet PLEG不健康问题排障》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Ordering Disorder
Khoi Vinh / New Riders Press / 2010-12-03 / USD 29.99
The grid has long been an invaluable tool for creating order out of chaos for designers of all kinds—from city planners to architects to typesetters and graphic artists. In recent years, web designers......一起来看看 《Ordering Disorder》 这本书的介绍吧!