安全数据中心互联
目录
概述
组织出于多种原因部署了多个数据中心。这些原因可能包括：
- 提供关键业务应用的主动冗余，
- 为组织数据提供地理位置遥远的备份，
- 支持基于地理位置的服务交付，
- 将数据中心扩展到公共云、私有云或合作数据中心基础设施。
组织也可能在合并或收购后拥有多个数据中心。
远程数据中心位置之间的数据传输容易受到窃听和完整性丧失的威胁。数据中心可以通过公共互联网、商业2层或3层传输服务、云提供商传输服务以及租用的光纤或私有光纤线路共享数据。
在使用互联网、商业或云服务时，传输中的数据对第三方是可见的。私有和租用的光纤基础设施更加安全，但在信号再生和终端点容易被窃听。
私有数据丢失的风险包括财务损失、法律诉讼、知识产权丧失和声誉受损。
IPsec 隧道是行业标准的方法，用于在不可信基础设施或第三方网络上传输数据时保护数据安全，包括数据中心之间的通信。
网络地址转换（NAT）服务通常与 IPsec 服务结合使用，以应对重叠的 IP 地址空间。当连接来自合并后之前是独立组织的数据中心时，常会出现这种需求。在私有云和合作环境等多租户环境中，NAT 服务的使用也很普遍。
IPsec
IPsec 通过提供以下功能，减轻在数据中心位置之间传输数据的风险：
- 位置之间的数据机密性，通过有效载荷加密，
- 认证以验证对话中的双方是否已知且受信任，
- 数据完整性检查，用于检测和防止传输过程中数据被篡改。
下方的简化示意图展示了 IPsec 封装安全载荷（ESP）隧道对标准 IP 数据包进行封装成 IPsec ESP 隧道数据包的过程。
HPE Aruba Networking CX 10000 交换机在硬件中使用板载 AMD Pensando DPU 实现了 IPsec ESP 隧道协议。CX 10000 还提供 NAT 服务，通常与 IPsec 服务结合使用，用于连接必须容纳重叠 IP 地址空间的数据中心位置。
用例
传统的两层数据中心拓扑、EVPN-VXLAN 叠加拓扑以及边缘数据中心可以使用 IPsec 来保护位置之间的通信。
站点到站点传输
当使用城域以太网或 MPLS 等商业传输服务传输数据时，存在第三方观察数据的风险。使用专用光纤可以大大降低风险，但在信号再生和终端点（如共置机房）之外的信号点，传输中的数据仍可能被观察到。
下图说明了使用 IPsec 隧道连接两个数据中心以保护数据的概念。本文档后续将详细介绍 IPsec 高可用性和路由概念。
IPsec 是一套由供应商无关的协议，能够在多供应商环境中实现对等点之间的认证和加密。建议在 IPsec ESP 隧道的两端部署 CX 10000 交换机，以实现有效且高效的支持与故障排除。
互联网传输
使用普通互联网链路在数据中心之间建立连接具有经济优势，但也带来更高的数据窃听和篡改风险，因此 IPsec 成为保障数据安全的关键工具。IPsec 隧道是连接公共云、私有云和合作数据中心的常用方法。具有多个互联网上行链路的 SD-WAN 设备通常位于数据路径中，以增强底层网络的弹性。
下图展示了通过普通互联网使用 IPsec 隧道连接两个数据中心的概念。
专用公共云传输
基础设施即服务（IaaS）公共云提供商提供直连虚拟云基础设施的服务。例如 AWS Direct Connect、微软的 Azure ExpressRoute 和 Google Cloud 的 Cloud Interconnect 服务。在每种情况下，数据传输都发生在组织管理控制之外的基础设施上。
IPsec 隧道可以在公共云提供商提供的 VPN 服务上终止，或在虚拟私有云环境中配置的更高级 VPN 设备上终止。
CX 10000 IPsec 概述
运行 AOS-CX 10.12.1000 及更高版本的 CX 10000 交换机支持硬件加速的 IPsec 服务。AOS-CX 10.15 增加了额外的 IPsec 功能，包括支持浮动静态路由以建立备份隧道和动态学习的 BGP 路由。
每台 CX 10000 配备两个 AMD Pensando DPU。IPsec 隧道的加密和解密在 DPU 上执行。每个 DPU 支持 135 Gbps 全双工 IPsec 运行，总共在单个 CX 10000 交换机上实现 270 Gbps 的 IPsec 性能。
在使用 EVPN-VXLAN 叠加拓扑时，IPsec 隧道配置在边界叶子交换机上；在使用两层拓扑时，IPsec 隧道配置在数据中心核心交换机上。在大多数情况下，交换机配置文件应设为 l3-core。
一个 CX 10000 终止 IPsec 隧道需要分配 l3-core 或 spine 交换机配置文件。
在非默认 VRF 中分配给 VLAN SVI 的 IP 地址必须配置为 IPsec 隧道的源地址。不支持在默认 VRF 中进行 IPsec 终止。
在 CX 10000 上，目的地为 IPsec 隧道的流量必须在配置该隧道的相同 VRF 上接收。
在建立隧道时，CX 10000 支持基于密码短语和证书的认证。对于基于证书的认证，用于生成远程 IPsec 主机证书的证书颁发机构（CA）必须安装在 CX 10000 上。
CX 10000 的物理接口被分配端口角色，管理由 DPU 处理的流量的操作行为。在使用 IPsec 时，面向外部网络的端口被分配为 上行链路 角色。面向数据中心交换机和主机的端口被分配为 接入 角色，包括在 spine-and-leaf 网络中的 spine 链路。
EVPN-VXLAN
在 EVPN-VXLAN data center 中使用 IPsec 时，边界 leaf 专用于该功能。不支持扩展 Layer 2 VNI 和直接将主机连接到终止 IPsec 隧道的 CX 10000 边界 leaf。
边界 leaf 终止 IPsec 隧道时不支持 VRF 之间的路由泄露（IVRL）。每个需要 IPsec 服务的 overlay VRF 必须有自己的 IPsec 隧道配置。当使用 IPsec 连接离散的 EVPN-VXLAN fabric 时，数据中心的连接通常采用每个 VRF 的 VRF-lite 策略进行扩展。
可以创建一个 IPsec 服务 VRF，通过在不终止 IPsec 隧道的 fabric 中的服务叶或标准叶上执行 IVRL，为多个叠加 VRF 的主机流量进行加密。
扩展 Layer 2 和 Layer 3 叠加以建立多 fabric 拓扑不被支持，因为承载 VXLAN 封装流量的默认 VRF 不支持 IPsec 操作。IPsec 隧道不支持在 fabric 之间扩展 Layer 2 可达性。
两层
许多传统的 Two-Tier data centers 使用默认 VRF 进行数据中心主机流量。当使用 CX 10000 IPsec 服务时，必须为数据中心连接配置非默认 VRF。
在使用 IPsec 的两层数据中心中，不支持 IVRL。当存在多个 VRF 时，可以通过为每个 VRF 建立 IPsec 隧道，采用 VRF-lite 策略，将每个 VRF 扩展到远程数据中心。
边缘数据中心
主机可以通过 IPsec 直接连接到 CX 10000 边缘数据中心，以确保与远程数据中心的通信安全。所有主机必须连接到非默认 VRF。不支持 IVRL，但可以通过为每个 VRF 配置 IPsec 隧道，采用 VRF-lite 策略，扩展多个 VRF。
下图展示了连接边缘数据中心到传统两层数据中心，使用冗余 IPsec 隧道。
路由
通过 IPsec 隧道传输的流量可以通过两种方法识别：静态路由和 BGP 对等体。IPsec 隧道不支持 Layer 2 桥接流量，以扩展广播域或在不同位置之间的 VLAN。
静态路由通过为前缀分配隧道标识符作为下一跳，手动指定流量。从 AOS-CX 10.15 版本开始，支持使用浮动静态路由的备份 IPsec 隧道，其中为路由分配的管理距离决定首选的 IPsec 隧道。当与首选路由相关联的隧道发生故障时，该路由将被撤销，备份路由将被安装到转发表中，指示交换机通过备份隧道发送流量。
在 EVPN-VXLAN 网络中使用静态路由时，路由会被重新分发到与隧道相同 VRF 上的 IPv4 或 IPv6 BGP 地址族中。其他在同一 fabric 中的 VTEP 会从边界叶发起的 EVPN Type 5 广告中学习到重新分发的路由。
两层数据中心可以使用 OSPF 或 BGP 作为对外网络的路由协议。静态路由应被重新分发到用于建立与外部网络连接的路由协议的相应 VRF 上。
在使用 AOS-CX 10.15 或更高版本时，可以通过 IPsec 隧道端点之间的 BGP 对等体动态交换应在 IPsec 隧道中转发的 IP 前缀，而非静态路由。CX 10000 支持每个 VRF 最多 1024 个学习到的前缀用于 IPsec 重定向。当使用独立或主动/主动高可用性隧道时，支持 BGP 对等体。
在使用 EVPN-VXLAN 叠加层时，应过滤掉来自 IPsec 的 BGP 交换中的主机路由。此外，学习到的前缀会作为 EVPN Type 5 广告动态传播到 fabric 中的所有 VTEP，无需额外的重新分发。
在使用传统两层拓扑结构时，使用 BGP 连接到外部网络时不需要重新分发。当使用 OSPF 时，BGP 路由必须被重新分发到在相应 VRF 上运行的 OSPF 实例中。
在使用 VSX 对和路由重分发时，两个交换机成员都必须执行重分发。如果 VSX ISL 失败，只有主 VSX 成员会执行重分发。
在配置 BGP 邻接和重分发时，建议使用路由映射以减少错误和意外的网络中断风险。
IPsec 策略
IPsec 策略在 Pensando 策略与服务管理器（PSM）中创建。该策略定义了隧道的认证、加密和高可用性参数，称为安全关联（SA）。IPsec 隧道的本地和远程对等体必须配置参数，以便它们能够就互联网密钥交换（IKE）版本、认证方法和加密算法达成一致。
IPsec 策略与防火墙策略以及可选的 NAT 策略结合使用。如果未定义明确的防火墙策略，则隐式防火墙策略允许所有流量。下图展示了基于流量方向的策略处理顺序：
PSM 策略分发目标（PDTs）提供了将防火墙、NAT 和 IPsec 策略应用于部分 CX 10000 交换机的灵活性。PDT 在 PSM 中定义，用于限定 IPsec 相关策略的应用范围到适当的 CX 10000 交换机集。
建议使用 HPE Aruba Networking 的 Fabric Composer 来配置 PSM 策略。
高可用性
除了独立的 IPsec 隧道外，CX 10000 在使用 VSX 对时还支持两种高可用性模式：
- 主/主（Active/Active）
- 主/备（Active/Passive）
主/主
主/主冗余是推荐的高可用性策略，其中每个 VSX 对中的 CX 10000 在远程站点建立一个活动隧道。建议远程站点使用一对互补的 CX 10000 交换机。然而，远程终端可以在单一物理或虚拟设备上实现。
主/主冗余在发生故障时提供快速收敛，因为无需在转发流量之前启动新的 IPsec 安全关联（SA）。
VSX 支持成员对之间的流同步，以共享状态并支持非对称流量转发。在交换机故障的情况下，另一台 VSX 成员可以无缝接管已建立的流。VSX 活动转发使任一成员交换机能够直接将解密后的 IPsec 流量转发到下游数据中心主机，而无需消耗 VSX 对之间的 ISL。
下图展示了两个数据中心位置的 CX 10000 交换机之间的主/主 IPsec 隧道。
下图展示了 CX 10000 交换机与支持主/主隧道的单一远程设备之间的主/主 IPsec 隧道。这在终止到第三方主机的隧道时很常见，例如公共云中的虚拟设备或分支数据中心的物理防火墙设备。
当 IPsec 隧道在远程单一物理设备上终止时，IPsec 设备通常支持物理冗余，使用第二个处于被动模式的设备，在主设备故障时可以变为主动。双隧道为单一设备提供隧道转发多样性，而物理多样性通过备用物理设备实现。
主/备
主/备高可用性用于连接仅支持单一活动隧道的第三方设备。这种设计在网络故障后收敛时间比主/主设计更长，只有在必要时才应使用。
主/备操作需要在 CX 10000 VSX 对上配置虚拟路由冗余协议（VRRP）。活动 IPsec 隧道遵循 VRRP 虚拟 IP（VIP）在对中的所有权。备用隧道与 VRRP 备用接口相关联。当 VRRP 备用接口成为活动 VRRP VIP 所有者时，它会建立活动 IPsec 隧道。当在 VSX 对与上游 WAN 设备之间使用 MC-LAG 时，VRRP 双活动转发允许任一 VSX 成员路由目的地为 VRRP VIP MAC 地址的接收流量。
下图展示了主/备 IPsec 隧道拓扑结构。
采用此策略时，常见的情况是出站数据中心流量落在不拥有活动 IPsec 隧道的 CX 10000 交换机上。VSX 会通过 ISL 将流量重定向到拥有活动 IPsec 隧道的 CX 10000。
MTU
当 IPSec 隧道通过互联网连接时，建议使用默认的第 3 层 IPsec 接口 MTU 1500。该值将 TCP 最大段大小（MSS）设置为 1403 字节，以适应 97 字节的 IPsec 头部开销，从而避免 TCP 流量的分片。分片可能导致数据丢失。
当数据中心互连支持端到端更高的 MTU 值，例如使用租用光纤或城域以太网提供商时，建议将第 2 层和第 3 层的 MTU 设置为所有设备支持的最大值。
注意事项
在使用 CX 10000 IPsec 隧道（截至 AOS-CX 10.15）时，请考虑以下注意事项。AOS-CX 10.15 的文档包含 完整的限制条件列表。
- 不支持多播。
- 不支持隧道端点的 IPv6 地址。
- 无法将访问控制列表应用于 IPsec 隧道接口。
- 超过每个 VRF 1024 条 IPsec 路由的路由将被丢弃。如果学习的路由数量超过支持的数量，则无法保证优先路由的排序。
- 不支持将浮动静态路由作为通过 IPsec 隧道学习的相同前缀的备份路径。
- 不支持在 IPsec 隧道上使用 BGP 的 BFD。
- 基于路由的 ECMP 不支持多个 IPsec 隧道下一跳。
管理
HPE Aruba Networking Fabric Composer 提供 IPsec 隧道的单一管理界面，作为其 NetOps 和 SecOps 功能的一部分。AOS-CX 和 PSM 组件都可以使用 Fabric Composer 进行配置和监控，包括 VRF、接口、静态路由、BGP 对等、IPsec 策略、NAT 策略和防火墙策略。Fabric Composer 通过支持使用基于角色的访问控制（RBAC）进行可定制的权限分配，安全地实现跨多个团队的协作管理。