记一次 Kubernetes 网络故障深度调查

问题现象

运维同学在对客户的 Kubernetes 集群进行节点扩容时，发现新增的节点一直添加失败。该同学进行了初步的排查如下：

• 在新增节点上，访问 Kubernetes master service vip 网络不通
• 在新增节点上，直接访问 Kubernetes master hostIP + 6443 网络正常
• 在新增节点上，访问其他节点的容器 IP 可以正常 ping 通
• 在新增节点上，访问 coredns service vip 网络正常

该客户使用的 Kubernetes 版本是 1.13.10，宿主机的内核版本是 4.18(CentOS 8.2)。

问题排查过程

收到该一线同事的反馈，我们已经初步怀疑是 IPVS 的问题。根据以往网络问题排查的经验，先对现场做了些常规排查：

• 确认内核模块 ip_tables 是否加载(正常)
• 确认 iptable forward 是否默认 accpet (正常)
• 确认宿主机网络是否正常(正常)
• 确认容器网络是否正常(正常)
• ……

排除了常规的问题之后，基本可以缩小范围，再继续基于 IPVS 相关层面进行排查。

通过 ipvsadm 命令排查

10.96.0.1 是客户集群 Kubernetes master service vip。

（编辑：宜春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!