Kubernetes跨越可用区的容器管理——OpenKruise助力高可用部署

1、简介

在现代应用架构中，多区域（Multi-Zone） 部署成为保障应用高可用性、可靠性及故障恢复能力的关键策略。在 Kubernetes 原生环境下，虽然能够通过 Affinity 和 Taints 来控制 Pod 在不同节点和区域的调度，但面对复杂场景和需求时，可能显得不够灵活。为了解决这些问题，OpenKruise 作为 Kubernetes 的扩展项目，提供了更加灵活的多区域管理功能，其中最具代表性的功能包括 ：WorkloadSpread 和 UnitedDeployment。，帮助用户在多区域、节点组之间灵活分配和管理应用实例。

2、典型场景

使用 WorkloadSpread 的典型场景

应用的高可用部署：当你需要保证应用在不同可用区或节点池中的分布时，WorkloadSpread 是最佳选择。它能确保每个区域的 Pod 分布按既定的比例分配，从而防止区域故障带来的影响。

更细粒度的调度控制：当你希望对某个特定工作负载的调度进行精细化管理，定义具体的区域分布和权重时，WorkloadSpread 提供了极高的灵活性。

使用 UnitedDeployment 的典型场景

跨区域管理多个工作负载：如果你的应用由多个工作负载（如 StatefulSet 或 ReplicaSet）组成，并且需要跨多个区域进行部署和管理，那么 UnitedDeployment 是更合适的选择。

多区域更新与扩展：当你希望在不同区域分别执行滚动更新，且需要动态扩展某些区域的副本数时，UnitedDeployment 提供了针对不同区域的独立管理能力。

3、WorkloadSpread 与 UnitedDeployment 的对比

特性 WorkloadSpread UnitedDeployment
适用范围 单个工作负载（如 CloneSet、Deployment） 多个工作负载（如 StatefulSet、ReplicaSet）
跨区域分布 支持，适用于特定工作负载 支持，适合更复杂的大规模多区域部署
调度策略 通过 NodeSelector 定义调度规则 支持为不同节点池或区域定义独立的副本数和调度策略
滚动更新 支持跨区域的滚动更新控制 每个区域可以独立进行滚动更新
弹性扩展 针对单一工作负载的多区域扩展 支持针对多个工作负载的弹性扩展
复杂性 相对简单，适合轻量级的多区域部署 更复杂，适合大规模、跨区域的分布式应用管理
4、WorkloadSpread：细粒度的工作负载调度

WorkloadSpread 旨在对单一工作负载（如 CloneSet 或 Deployment）在多个区域或节点池之间的分布进行精细控制。它允许用户定义 Pod 在不同区域中的分布比例、调度策略以及容错能力，从而确保应用具备高可用性。

核心特性：

多区域分布：支持将工作负载分布到多个区域，保证应用在某个区域失效时，其他区域的服务仍然正常运行。

调度控制：用户可以为每个区域定义 Pod 调度策略，比如使用 NodeSelector 和 Tolerations 来选择适合的节点或可用区。

故障恢复能力：在某个区域的节点或可用区故障时，WorkloadSpread 能够动态地将 Pod 重新调度到其他健康区域，保证业务的连续性。

滚动更新：WorkloadSpread 支持跨区域进行滚动更新，确保更新过程中的服务不中断。

配置示例：

apiVersion: apps.kruise.io/v1alpha1
kind: WorkloadSpread
metadata:
name: workloadspread-demo
namespace: default
spec:
targetRef:
apiVersion: apps/v1
kind: Deployment
name: my-app-deployment
subsets:

• name: zone-a # 定义区域A
  requiredNodeSelectorTerm:
  matchExpressions:
  – key: topology.kubernetes.io/zone
  operator: In
  values: [“zone-a”]
  weight: 50 # 50% 的 Pod 将调度到 zone-a
  maxReplicas: 5 # 最多允许 5 个 Pod
• name: zone-b # 定义区域B
  requiredNodeSelectorTerm:
  matchExpressions:
  – key: topology.kubernetes.io/zone
  operator: In
  values: [“zone-b”]
  weight: 30 # 30% 的 Pod 将调度到 zone-b
• name: zone-c # 定义区域C
  requiredNodeSelectorTerm:
  matchExpressions:
  – key: topology.kubernetes.io/zone
  operator: In
  values: [“zone-c”]
  weight: 20 # 20% 的 Pod 将调度到 zone-c
  关键字段解释：

targetRef：指定需要受 WorkloadSpread 控制的目标工作负载（如 CloneSet、Deployment 等）。

subsets：定义不同区域的调度策略，每个 subset 表示一个区域。用户可以通过 requiredNodeSelectorTerm 来指定 Pod 应该调度到哪些节点或区域。

weight：定义 Pod 在该子集中的比例，通过权重来控制 Pod 在不同区域之间的分布。

maxReplicas：限制每个区域中最多允许运行的 Pod 数量，确保单个区域不会因为负载过高而导致崩溃。

5、UnitedDeployment：复杂工作负载的跨区域管理

与 WorkloadSpread 针对单个工作负载不同，UnitedDeployment 旨在为多个工作负载提供统一的多区域调度管理。UnitedDeployment 允许用户将工作负载（如 CloneSet、StatefulSet 或 Deployment）分布到多个区域，并为每个区域单独设置扩展、滚动更新和调度策略。

核心特性：

多工作负载管理：UnitedDeployment 支持多个工作负载的统一管理，不仅限于 Deployment，还支持 CloneSet、StatefulSet 等工作负载类型。

跨区域分布：用户可以定义每个工作负载在不同区域中的副本数，并为不同区域指定不同的节点选择和调度策略。

独立的更新策略：每个区域可以单独进行滚动更新，确保某一区域更新时不影响其他区域的服务。

弹性扩展：根据各区域的负载情况，动态调整副本数，实现资源的最大化利用。

配置示例：

apiVersion: apps.kruise.io/v1alpha1
kind: UnitedDeployment
metadata:
name: uniteddeployment-demo
namespace: default
spec:
selector:
matchLabels:
app: my-app
workloadTemplate:
statefulSetTemplate: # 使用 StatefulSet 作为工作负载模板
metadata:
labels:
app: my-app
spec:
serviceName: “my-service”
replicas: 10
template:
metadata:
labels:
app: my-app
spec:
containers:
– name: my-container
image: my-app-image:v1
topology:
subsets:
– name: zone-a # 节点池 A
replicas: 5
nodeSelectorTerm:
matchExpressions:
– key: topology.kubernetes.io/zone
operator: In
values: [“zone-a”]
– name: zone-b # 节点池 B
replicas: 3
nodeSelectorTerm:
matchExpressions:
– key: topology.kubernetes.io/zone
operator: In
values: [“zone-b”]
– name: zone-c # 节点池 C
replicas: 2
nodeSelectorTerm:
matchExpressions:
– key: topology.kubernetes.io/zone
operator: In
values: [“zone-c”]
关键字段解释：

workloadTemplate：定义应用的工作负载模板，可以选择 StatefulSet 或 ReplicaSet 等类型。UnitedDeployment 会基于该模板为不同区域生成实例。

topology.subsets：定义不同区域的副本数量、节点选择条件等，确保每个区域的工作负载独立分布。

replicas：为每个区域独立设置副本数，确保各区域根据需求进行弹性扩展。

6、总结

OpenKruise 提供的 WorkloadSpread 和 UnitedDeployment 为 Kubernetes 集群中的应用提供了强大的多区域管理能力。通过 WorkloadSpread，你可以更细粒度地控制单个工作负载在不同区域之间的调度策略，而 UnitedDeployment 则为管理多个工作负载的跨区域部署和更新提供了更灵活的手段。