← LeisureLinux 文章索引
LeisureLinux · 微信公众号文章

灵衢协议深度解读:AI 超节点互联的革命性创新

AI/Agent 阅读原文(微信)↗

一、灵衢协议是什么?

灵衢协议(Unified Bus,简称 UB)是华为在 2025 年全联接大会上正式发布的一套超节点互联协议与体系架构。它的核心目标就一句话:打破传统计算系统中「总线」与「网络」之间那道墙

传统数据中心里,芯片间用 PCIe(总线级,快但不远),机柜间用以太网/RDMA(网络级,远但不快)。两道协议栈动不动就要做翻译转换,损耗巨大。灵衢的想法很激进——为什么不能有一种协议,既像总线一样快,又能像网络一样扩展?

二、革命性创新在哪?2.1 协议归一:一个协议通吃一切

灵衢协议栈涵盖了物理层、数据链路层、网络层、传输层完整链路。它的 UB Service Core(控制面)支持 Socket over UBRoUB(RDMA Verbs 兼容语义),这意味着现有 RDMA 应用可以直接迁移上来,同时 UB 原生接口也提供更高效的内存语义访问。

与 PCIe 只能用机箱内、以太网要协议转换不同,灵衢把 IO、内存访问、进程间通信统一在同一条「互联总线」上,彻底消灭了跨协议转换带来的延迟浪费。

2.2 统一内存语义与资源池化

灵衢采用对等架构(peer-to-peer),所有设备(NPU、CPU、内存、SSD、网卡)都能像访问本地内存一样直接访问远程设备的内存。这使得跨节点的算力、内存、存储实现真正的动态资源池化(即插即用式的调度分配)。

这跟 RDMA 的远程内存访问(Remote DMA)有本质区别——RDMA 只是数据传输层的优化,而灵衢是架构层的统一内存语义,粒度更细、抽象层次更高。

2.3 超大规模扩展(52 万卡 → 百万卡)

灵衢支持 64 个节点、52 万张昇腾卡的集群互联,下一代计划推至百万卡规模。对比来看,NVIDIA 的 NVLink domain 目前最多支持 72 张 GPU(NVL72),跨 domain 就要走 InfiniBand 或以太网。灵衢的 UB-Mesh(n维全互连拓扑)利用 LLM 训练数据局部性,优先短距直连,实现了本质上可横向扩展的互联架构

2.4 性能指标

指标 灵衢 UB 对比参考
延迟 2.1 μs(端到端) NVIDIA NVLink 4.0: 100-200 ns(GPU间紧耦合);RoCE v2: 5-10 μs
带宽 TB级(节点间);Atlas 950 超节点互联带宽 16.3 PB/s 是 NVL144 的 62 倍 NVLink 5.0: 1.8 TB/s/GPU;InfiniBand NDR: 400 Gb/s(端口)
同步语义延迟 百纳秒级 CXL 协议:100-200 ns(对等一致性访问)
节点规模 64 节点 / 52 万卡 → 百万卡 NVLink Domain: 72 GPU(NVL72)
故障恢复 百纳秒级保护切换 网络层故障通常数十毫秒

注意:延迟比较要分场景。NVLink 的 100-200 ns 是单机箱内 GPU 直连(背板尺度),灵衢的 2.1 μs 是超节点内跨机柜的端到端延迟。如果只比机内延迟,灵衢用光互联+通道绑定的策略,也宣称可以达到百纳秒级。

三、与 RDMA / InfiniBand / NVLink 的详细对比3.1 灵衢 vs RDMA(RoCE / InfiniBand)

相同点:

  • 都实现了内核旁路(kernel bypass)和零拷贝
  • 都支持远程内存直接访问语义
  • 都有专门的协议栈处理单元

核心区别:

维度 RDMA(RoCE/IB) 灵衢 UB
设计哲学 优化传统 TCP/IP 网络路径的「传输层革新」 重新定义总线与网络边界的「架构层重构」
编程模型 Verbs API(连接管理+通信操作) Load/Store + Read/Write 双范式,总线语义
资源管理 独立的 QP/PD/MR 资源,手动管理 统一资源池化,动态调度,自动分配
协议范围 传输层为主,依赖以太网/IP 下层 物理层→传输层全覆盖,UB-Mesh 拓扑
设备间关系 节点间点对点连接(要求对端也是 RDMA 网卡) 全对等架构(NPU、CPU、内存、SSD 都是总线节点)
拓展性 受限于子网/RC 数量 UB-Mesh 架构级支持万节点级

UB 还提供了两种互补的远程内存访问范式:一是与处理器指令集深度集成的 Load/Store(总线式),二是软件定义的 Read/Write(类 RDMA),并引入 带立即数的操作(With Immediate),把「先写数据再发通知」的两步操作合并为一步,减少了一轮网络往返。

3.2 灵衢 vs InfiniBand

InfiniBand 是 HPC 的标杆互连,主打极致低延迟(端到端 1.6 μs,HDR/NDR 接力到 800G XDR)。

灵衢在这个维度上的对标策略不是比原生延迟更低,而是:

  • 用光互联替代电互联:IB 交换机仍是电互联(铜缆+电信号转发),灵衢 UB Switch 支持光或光电混合互联,在长距离场景下信号衰减远小于铜缆,延迟差距可忽略
  • 系统级延迟优化:IB 专注于传输层延迟,灵衢从「芯片间→机柜间→超节点间」全链路做延迟优化,包括协议转换消除、故障检测恢复百纳秒级
  • 带宽路径完胜:NVSwitch NVL72 的聚合带宽约 130 TB/s,而 Atlas 950 超节点用灵衢互联达到 16.3 PB/s——两个数量级的差距,靠的是光互联+多通道绑定的规模优势

3.3 灵衢 vs NVLink

这是最直接的对比,两者都瞄准「把多颗计算芯片连接成一台巨型计算机」:

维度 NVIDIA NVLink 5.0/6.0 华为灵衢 UB
厂商 英伟达(闭源) 华为(开放 2.0 规范)
带宽/GPU 1.8 TB/s (V5) → 3.6 TB/s (V6) TB级,多通道绑定突破 TB/s
延迟(GPU间) 100-200 ns 百纳秒级(同步语义)
互联介质 铜缆(电互联) 光/光电混合,支持更长距离
拓扑 点对点 + NVSwitch UB-Mesh n维全互连 + UB Switch
扩展域 72 GPU / domain 64 节点 / 52 万卡
内存语义 统一显存地址空间 统一内存语义 + 资源池化
协议范围 GPU 互连专用 CPU/NPU/内存/SSD 全统一
缓存一致性 支持(统一虚拟地址) 非时刻强一致,梯度更新保证
部署规模 节点内为主 超节点级→数据中心级

一个关键差异是:NVLink 的核心是GPU 之间的高速互连(GPU-to-GPU 直接 DMA),而灵衢的核心是超节点内一切设备的统一总线(NPU/NPU、NPU/CPU、CPU/内存、节点/节点都能直连)。NVLink 外面套一层 InfiniBand 做集群网络,灵衢则是一套协议覆盖全部

3.4 灵衢 vs CXL / PCIe

CXL(Compute Express Link)是基于 PCIe 物理层的开放标准,关注内存一致性和扩展。PCIe 是通用总线但延迟高、扩展差。

灵衢和 CXL 都在做「异构互联和资源池化」,但灵衢的设计野心更大:CXL 聚焦「以 CPU 为中心的内存池化」,灵衢是「以集群为中心的全资源池化」。灵衢不是要替代 PCIe/CXL,而是要在它们之上构建更高层次的统一总线抽象。

四、核心亮点

从华为发布的资料和社区解读来看,灵衢协议有几个真正革命性的点:

4.1 Load/Store 语义跨节点

总线级别的内存语义从机箱内延伸到数据中心,数十万张卡之间可以像访问本地内存一样直访——这是目前 RDMA 都做不到的。

4.2 光互联替代铜互联的工程决心

电互联在 10-20 米范围内延迟极低,但远了差。光互联信号好、距离长、功耗更低。灵衢从架构上拥抱光互联,这跟英伟达坚持铜互联(追求 ns 级延迟)是截然不同的技术路径选择。

4.3 软件兼容层设计

RoUB(RDMA over UB)让已有 RDMA 应用无缝迁移;Socket over UB 让传统 TCP 应用不用改代码就获得性能提升。降低了生态迁移门槛。

4.4 缓存一致性「有节制的不一致」

不做时刻强一致性,而在 AllReduce 等关键步骤才保证一致性。面向 AI 训练的务实设计——梯度更新需要一致,中间层不需要。

五、理性评价

真正创新之处:

  • 协议归一是跨越性的——单一协议栈从物理层到应用层全覆盖,消灭了传统 PCIe→以太网→RDMA 的多协议转换
  • 统一内存语义 + 资源池化 + 光互联,为超大规模 AI 集群提供了不同于英伟达 NVLink+InfiniBand 的双协议方案,而是单协议大一统方案
  • 开放 2.0 规范——这很重要,英伟达 NVLink 完全闭源,华为愿意开放生态

需要客观看待的:

  • 延迟方面,灵衢的 2.1 μs 远高于 NVLink 的 100-200 ns。虽然场景不同(跨机柜 vs 同机箱),但在要求纳秒级延迟的通信模式(如同步梯度更新)中,2.1 μs 的绝对延迟不可忽视
  • Atlas 950 的 16.3 PB/s 带宽是「超节点聚合带宽」,不是单链路带宽。NVL72 的 130 TB/s 也是聚合带宽,这两者场景不同,直接比不一定公平
  • 生态问题:UB 作为新生协议,与现有软件栈的兼容(PyTorch分布式、NCCL替代品HCCL等)还在建设中
  • 光互联功耗和成本:光模块/光交换机的成本和功耗在超大规模部署中不能忽视

六、总结

灵衢协议不是 RDMA 的替代品,而是 RDMA 的「升维超越」版。RDMA 在传输层优化了「数据怎么走更快」,灵衢在架构层重新定义了「所有东西怎么连接在一起」。它要想成功,必须回答好 NVLink 和 InfiniBand 没回答的两个问题:一是能不能真正生态繁荣起来(开放规范能做到吗?),二是在算力密度和成本上能不能跟英伟达正面对抗。

━━━ ━━━ ━━━

参考文献

  1. 华为全联接大会 2025 官方发布——\"灵衢(Unified Bus)超节点互联架构\",华为技术有限公司,2025 年
  2. openEuler 社区技术博客——\"UB (Unified Bus) Introduction\",https://www.openeuler.org/zh/blog/nic/2025/06/UB-introduction.html
  3. 36氪报道——\"华为发布灵衢协议:重新定义AI集群互联\",https://www.36kr.com/p/3077031065389312
  4. 知乎技术讨论——\"如何评价华为发布的灵衢(Unified Bus)协议?\",https://www.zhihu.com/question/15717870551
  5. 博客园技术分析——华为 Unified Bus(灵衢)协议的架构分析,https://www.cnblogs.com/petewell/p/18824699
  6. 博客园技术分析——\"如何客观看待华为灵衢(Unified Bus)网络协议?\",https://www.cnblogs.com/hust-open-atom-club/p/18831484
  7. CSDN 技术博客——\"华为 Unified Bus 超节点互联架构解读\",https://blog.csdn.net/
  8. NVIDIA 官方文档——\"NVLink and NVSwitch: The Building Blocks of AI Supercomputing\",https://www.nvidia.cn/nvlink/
  9. InfiniBand Trade Association --- \"InfiniBand Architecture Specification Release 1.7\",https://www.infinibandta.org
  10. CXL Consortium --- \"Compute Express Link (CXL) Specification 3.2\",https://www.computeexpresslink.org
  11. PCI-SIG --- \"PCI Express Base Specification Revision 6.1\",https://pcisig.com
  12. RDMA Consortium --- \"RDMA Protocol Verbs Specification\",https://www.rdmaconsortium.org
  13. Mellanox Technologies (NVIDIA) --- \"Introduction to InfiniBand\",https://www.mellanox.com/pdf/whitepapers/IB_Intro_WP_190.pdf
  14. Synopsys --- \"Understanding CXL: Compute Express Link Technical Overview\",https://www.synopsys.com
  15. Wikipedia --- \"InfiniBand\", https://en.wikipedia.org/wiki/InfiniBand
  16. Wikipedia --- \"NVLink\", https://en.wikipedia.org/wiki/NVLink
  17. Supermicro --- \"PCIe 5.0 vs PCIe 6.0: A Comprehensive Comparison\", https://www.supermicro.com
  18. 华为云社区——\"Unified Bus: 华为 AI 互联新范式\",https://www.huaweicloud.com
  19. 华强北国际创客中心——\"灵衢协议的技术突破与产业影响分析\", 2026 年
  20. The Rise Union 分析——\"Unified Bus: 数据中心互联架构的新赛道\", https://theriseunion.com

岭声LineShine问世:纯CPU架构突破GPU封锁,1.54EFLOPS重塑E级超算路线

从「开悟」到「垂范」:世界模型如何重构具身智能的底层逻辑

Apple 端侧 AI 闪存路由架构:20B 参数不碰 DRAM

谷歌TPU全栈产品演进与技术架构深度研究报告:面向下一代智能体AI的算力底座

智算中心网络新范式:解析火山引擎 HPN 6.0 与 102.4T 自研交换机底层技术

6000亿美金的算力豪赌:拆解 Meta 史上最疯狂的"曼哈顿级"数据中心计划

本文整理自微信公众号 LeisureLinux 的原创内容(Linux / AI / 安全 硬核技术)。

· 阅读原文(微信公众号)

· 关注公众号 LeisureLinux,第一时间获取技术深度内容。

LeisureLinux 公众号二维码(微信扫一扫关注)