数据中心
人工智能如何重塑现代数据中心的电源、布线和连接性
人工智能不仅改变了数据中心内部的情况,也在重塑数据中心本身。激增的功耗、飙升的机架密度、新的冷却需求、超高速网络以及向 800G 和 1.6T 基础设施的转变正在重新定义数据中心的设计和运营方式。本博客将深入探讨人工智能工作负载如何推动电源、布线和连接要求发生前所未有的变化,以及企业在构建人工智能就绪骨干网时应优先考虑的事项。
人工智能时代:电力和基础设施的新基准
人工智能正推动数据中心进入一个全新的设计模式。随着训练和推理工作量的激增,耗电量也在急剧上升。行业预测显示,到 2030 年,全球数据中心的用电量将增加一倍以上,而人工智能则是主要的加速器。
在机架层面,这种转变是巨大的。以前徘徊在个位数千瓦范围内的密度现在普遍达到了 10-30 千瓦,而最先进的人工智能集群则超过了这一水平,需要将液体冷却作为标准配置。这一现实迫使运营商、公用事业公司和规划人员重新思考从电网连接和冷却拓扑结构到布线和连接系统的物理设计等一切问题。
平衡人工智能的能源需求与效率
在过去十年中,数据中心的能效得到了显著提升。平均 PUE 已从 2010 年的 2.20 左右提高到 2022 年的 1.55 左右,以人工智能为中心的设施现在的目标是低于 1.3。然而,人工智能带来了一个悖论:虽然它有望解决全球可持续发展挑战,但却增加了当今的能源需求。
大规模人工智能培训是著名的资源密集型活动。国际能源署预计,在人工智能的大力推动下,数据中心的耗电量将在 2022 年至 2026 年间翻一番。马萨诸塞大学阿默斯特分校的一项研究发现,训练一个大型人工智能模型会排放超过 62.6 万磅(28.4 万公斤)的二氧化碳,超过五辆汽车一生的排放量。
这就引入了典型的反弹效应:效率的提高使人工智能的运行成本更低,从而鼓励了更多的使用,最终增加了总能耗。
核心挑战显而易见:行业如何才能利用人工智能的潜力,同时又不加剧对环境的影响?
已在实施的战略
为解决这一矛盾,数据中心正在部署或开发几种互补方法:
- 可再生能源集成:向小型模块化核反应堆或大规模太阳能/风能等无碳能源过渡。
- 优化人工智能模型:旨在平衡性能与能效的算法。
- 高能效硬件:可减少总能耗的专用芯片和系统。
- 先进的冷却系统:液体冷却、浸入式冷却和新一代热抽取系统可减少维持安全温度所需的能源。
布线和连接:下一个大瓶颈
大型人工智能模型部署的爆炸式增长揭示了一个新的制约因素:网络性能。人工智能集群在很大程度上依赖于 GPU 互连,通常使用 RDMA 来最大限度地减少 CPU 的参与并最大限度地提高吞吐量。
传统网络已不再适用:
仅靠以太网无法满足大型人工智能集群的要求。
即使是 InfiniBand 和 RoCE 等先进标准也在挑战极限。
800G 已开始出现瓶颈--行业正加速向1.6T 发展。
人工智能数据中心网络为何与众不同
以人工智能为中心的环境需要
极高速网络
大规模 GPU 集群的超低延迟
网络正以前所未有的速度从 400G → 800G → 1.6T 演进。这一转变直接影响到结构化布线要求(ISO/IEC 11801-5、TIA-942),使高密度 MPO 系统变得至关重要。
升级背后的技术:SerDes 和通道速度
带宽的增加取决于两个因素:
SerDes 通道速度(每通道 25G → 50G → 100G → 200G)
使用的通道数
例如
使用16×50G、8×100G 或4×200G解决方案可实现 800G。
16 通道设置需要两个MPO-16/24 连接器。
4 通道解决方案只需要一个MPO-8/12 连接器--简化了基础设施,降低了成本,并提高了每 Gbps 的能效。
随着通道速度的提高,布线的复杂性和成本效益也会降低。
延迟:无声的性能杀手
人工智能性能对延迟非常敏感。当扩展到 10,000+ GPU 时,三层交换架构可能会引入多达五次交换跳转--造成的延迟远远超过光纤或铜缆链路本身。
为了跟上人工智能规模的步伐,布线基础设施必须以前所未有的速度发展。灵活、前瞻性的结构化布线可确保运营商无需随着速度的提升而反复检修隐藏的基础设施。
ISO/IEC 11801-5 和 TIA-942 等标准支持包括 ToR、Spine-Leaf 和 Mesh 拓扑在内的可扩展设计。
人工智能就绪数据中心布线的注意事项
构建面向未来的人工智能骨干网需要布线设计满足以下要求:
1.与光学和交换机路线图保持一致
原生支持Base-8 和 Base-16 并行光纤
与当今的 400G/800G SR 光纤兼容
迁移到 1.6T 时无需绞合光纤
IEEE P802.3dj 项目已经在为即将到来的人工智能硬件浪潮定义 200G/400G/800G/1.6T 标准。
2.简化安装,降低总体拥有成本
预端接、高密度布线系统可缩短安装时间,最大限度地降低风险,并节省多达40% 的通道空间。
3.高密度跳线系统
这些系统
降低复杂性
提高维护效率
支持 VSFF 连接器和新兴的多芯光纤技术
4.为密度和迁移而设计
无论是在小型企业设施还是超大规模集群中,方法都是一致的:
规划 LC/MPO 密度和未来迁移
使用可审计的修补工作流程
根据房间、距离和拓扑结构合理调整介质大小
按设施类型量身定制的考虑因素
企业/小型 DC:频繁的 MAC → 混合铜缆/多模、UHD LC、MPO-LC。
主机代管:快速租户开通 → 高清/超高清框架、MPO 主干网、强标签、AIM 工作流。
超大规模/人工智能行:OS2 光纤、超低损耗 MPO、微型捆绑、预端接中继。
边缘/微型 DC 和室外 POP:结构紧凑、人员少 → 预端接 LC/MPO、远程可视性、坚固外壳。
结论
人工智能正在重新定义数据中心生态系统的每一层--从机架密度和冷却,到网格设计,再到支撑一切的布线和连接。随着行业转向 800G 和 1.6T,结构化布线和前瞻性连接策略对于确保效率、可扩展性和长期性能至关重要。
在人工智能时代茁壮成长的数据中心将是那些建立在密集、灵活、可迁移的物理基础设施上的数据中心,其设计发展速度与人工智能本身一样快。