Kubernetes静态IP配置指南与Calico实践

1. 为什么需要静态IP

在Kubernetes集群中,Pod默认使用动态IP分配机制。这意味着每次Pod重启或重新调度时,它的IP地址都会发生变化。对于大多数无状态应用来说,这完全不是问题。但当你需要运行数据库、消息队列这类有状态服务时,IP地址的频繁变更就会带来一系列麻烦。

想象一下,你的MySQL主从集群中,从库配置的是主库的IP地址。如果主库Pod重启后IP变了,从库就无法继续同步数据。类似的情况也发生在使用IP白名单的应用中。静态IP就是为解决这类问题而生的解决方案。

2. Kubernetes网络基础

2.1 CNI插件工作原理

Kubernetes本身并不直接管理网络,而是通过CNI(Container Network Interface)插件来实现网络功能。当一个新的Pod被创建时:

  1. kubelet调用CNI插件
  2. CNI插件为Pod分配IP地址
  3. CNI插件配置网络路由规则
  4. Pod获得网络连接能力

常见的CNI插件包括Calico、Flannel、Weave等,它们各自有不同的网络模型和IP分配机制。

2.2 IPAM机制

IP地址管理(IPAM)是CNI插件的核心组件之一。它负责:

  • IP地址池管理
  • IP地址分配与回收
  • IP地址冲突检测

默认情况下,IPAM使用动态分配策略,这也是Pod IP会变化的原因。要实现静态IP,我们需要干预这个分配过程。

3. 静态IP实现方案对比

3.1 方案一:使用HostNetwork

这是最简单的方案,直接让Pod使用宿主机的网络命名空间:

apiVersion: v1 kind: Pod metadata: name: static-ip-pod spec: hostNetwork: true containers: - name: nginx image: nginx

注意:这种方案有严重的安全隐患,Pod会直接暴露在主机网络上,不建议在生产环境使用。

3.2 方案二:使用StatefulSet

StatefulSet为每个Pod提供稳定的标识符,包括主机名和网络标识:

apiVersion: apps/v1 kind: StatefulSet metadata: name: web spec: serviceName: "nginx" replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx ports: - containerPort: 80

StatefulSet会为每个Pod分配一个稳定的网络标识(如web-0.nginx.default.svc.cluster.local),但IP地址仍然可能变化。

3.3 方案三:使用CNI插件静态IP功能

这是最推荐的方案。以Calico为例:

  1. 首先创建IP池:
apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: static-ippool spec: cidr: 192.168.0.0/24 blockSize: 29 nodeSelector: all() disabled: true
  1. 然后在Pod注解中指定IP地址:
apiVersion: v1 kind: Pod metadata: name: static-ip-pod annotations: cni.projectcalico.org/ipAddrs: "[\"192.168.0.10\"]" spec: containers: - name: nginx image: nginx

4. Calico静态IP详细配置

4.1 环境准备

确保你的集群已经安装Calico CNI插件。可以通过以下命令检查:

kubectl get pods -n kube-system | grep calico

4.2 创建专用IP池

为了避免IP冲突,建议为静态IP分配创建专用的IP池:

apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: static-ips spec: cidr: 192.168.100.0/24 blockSize: 29 nodeSelector: all() disabled: true

应用配置:

kubectl apply -f static-ip-pool.yaml

4.3 部署使用静态IP的Pod

apiVersion: v1 kind: Pod metadata: name: static-ip-app annotations: cni.projectcalico.org/ipAddrs: "[\"192.168.100.10\"]" spec: containers: - name: app image: nginx ports: - containerPort: 80

验证IP分配:

kubectl exec -it static-ip-app -- ip addr show eth0

5. 高级配置技巧

5.1 预留IP段

为了避免手动分配的IP与自动分配的IP冲突,可以在主IP池中排除静态IP使用的地址段:

apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: default-ipv4-ippool spec: cidr: 192.168.0.0/16 blockSize: 24 nodeSelector: all() disabled: false excludedCIDRs: - 192.168.100.0/24

5.2 多网卡配置

对于需要多个静态IP的Pod,可以使用多网卡配置:

apiVersion: v1 kind: Pod metadata: name: multi-ip-pod annotations: cni.projectcalico.org/ipAddrs: "[\"192.168.100.10\", \"192.168.100.11\"]" spec: containers: - name: app image: nginx

5.3 与Service结合使用

即使Pod使用静态IP,仍然可以通过Service来访问:

apiVersion: v1 kind: Service metadata: name: static-ip-service spec: selector: app: static-ip-app ports: - protocol: TCP port: 80 targetPort: 80

6. 常见问题排查

6.1 IP地址冲突

如果遇到网络连接问题,首先检查IP是否冲突:

kubectl get pods -o wide | grep 192.168.100.10

6.2 Calico节点问题

检查Calico节点状态:

kubectl get nodes kubectl describe node <node-name>

6.3 IP池配置错误

验证IP池配置:

kubectl get ippools -o yaml

6.4 网络策略冲突

检查是否有网络策略阻止了通信:

kubectl get networkpolicies --all-namespaces

7. 生产环境最佳实践

  1. 文档记录:维护一个静态IP分配表,记录哪些IP被分配给哪些服务
  2. 命名规范:为使用静态IP的Pod使用特定命名前缀,如"static-"
  3. 监控告警:设置监控检查静态IP Pod的网络连通性
  4. 定期审计:定期检查未使用的静态IP并回收
  5. 备份配置:备份Calico的IPPool和网络策略配置

8. 替代方案评估

8.1 使用Service代替静态IP

对于大多数场景,使用ClusterIP Service可能是更好的选择:

apiVersion: v1 kind: Service metadata: name: my-service spec: selector: app: my-app ports: - protocol: TCP port: 80 targetPort: 9376

8.2 使用ExternalName Service

对于外部服务,可以使用ExternalName:

apiVersion: v1 kind: Service metadata: name: my-database spec: type: ExternalName externalName: database.example.com

8.3 使用Headless Service

对于有状态应用,Headless Service提供稳定的网络标识:

apiVersion: v1 kind: Service metadata: name: stateful-service spec: clusterIP: None selector: app: stateful-app ports: - protocol: TCP port: 80 targetPort: 9376

9. 性能考量

静态IP配置会对网络性能产生轻微影响:

  1. IPAM开销:静态IP分配需要额外的IPAM处理
  2. 路由表大小:大量静态IP会增大节点路由表
  3. 故障恢复:节点故障时,静态IP Pod的恢复时间可能略长

建议单个节点上不要配置超过50个静态IP Pod。

10. 安全注意事项

  1. 网络隔离:为静态IP Pod配置严格的NetworkPolicy
  2. 审计日志:记录所有静态IP分配和变更操作
  3. 权限控制:限制可以创建静态IP Pod的用户和ServiceAccount
  4. IP伪装:考虑禁用IP伪装以提高安全性:
apiVersion: projectcalico.org/v3 kind: FelixConfiguration metadata: name: default spec: ipinipEnabled: false