
BoliviaInteligente/Unsplash
英伟达(NVIDIA)、韩国芯片设计公司Rebellions以及SK电信(SK Telecom)于首尔时间11月9日(周一)宣布达成合作,将Rebellions的下一代R200神经处理单元(NPU)接入英伟达的NVLink Fusion互联架构。在该方案中,英伟达GPU负责处理提示词(prompt),而Rebellions NPU负责生成令牌(token)。
这种分工依赖于在一个厂商的芯片上计算出的注意力状态能够足够快地传输到另一个厂商的芯片上。然而,新闻稿既未说明具体的传输方法,也未披露R200的内存容量——这一规格决定了如SK电信的A.X K2这样拥有6880亿参数的模型是否能够适配。
Rebellions表示,R200系统预计将于2028年准备就绪并投入部署。韩国科学技术信息通信部(MSIT)正在支持该项目,但新闻稿中并未给出R200的具体数值规格。
英伟达、Rebellions和SK电信计划基于MGX构建NVLink Fusion机架
NVLink Fusion是英伟达旨在将其扩展网络与非英伟达处理器(英伟达称之为XPUs)连接的项目。根据该计划,R200芯片将在机架内通过NVLink进行连接,Rebellions将基于英伟达的MGX架构构建其机架级系统。
英伟达的新闻稿指出,MGX使Rebellions能够接入服务器制造商和组件供应商建立的成熟供应链,并为SK电信提供跨系统共享的机架占地面积、电力输送和冷却设计。
新闻稿将R200描述为一种用于低延迟、高能效服务前沿模型的推理芯片,包括万亿参数级的混合专家(MoE)模型。英伟达称NVLink Fusion能提高性能并降低部署风险,但这些均为厂商声明,伴随发布的并无独立测试结果。
为何“GPU预填充+NPU解码”需要KV缓存交接?
推理过程包含两个阶段,其瓶颈截然不同。预填充(Prefill)阶段处理提示词,属于计算密集型;而解码(Decode)阶段逐个生成令牌,受限于内存带宽。英伟达自家的解决方案是其Rubin CPX预填充部分,使用GDDR7内存,而配备HBM的GPU则保留用于解码。这里的创新之处在于,解码部分将由第三方芯片运行。
预填充阶段会写入键值(KV)缓存,即提示词中每个令牌的存储注意力状态;解码阶段则在生成每个令牌时读取该缓存。当两个不同的芯片分担这两个阶段时,在第一个令牌出现之前,该缓存必须在两者之间传输,因此交接速度决定了用户看到响应的时间快慢。这是基于分离式服务工作原理的推断,而非公司提供的具体数据。
根据英伟达针对A.X K2的方案,其Dynamo服务框架已利用NIXL传输库通过InfiniBand或RDMA在GPU工作节点之间移动KV缓存。该方案 targeting 8或12个B200 GPU,或32个H200 GPU,而非NPU。公告并未说明R200是否兼容NIXL或Dynamo。
在硬件方面,英伟达表示定制XPUs通过其提供的UCIe至NVLink桥接小芯片连接至NVLink。英伟达称,NVLink 6以每XPU 3.6 TB/s的速度连接72个XPU,在72加速器域内的总带宽为260 TB/s,并声称其延迟比现成的以太网替代方案低3倍。Rebellions当前的Rebel100已通过UCIe-Advanced连接四个小芯片,但R200是否采用相同路径尚未披露。
仅A.X K2权重在FP8格式下就需要五个Rebel100级封装
A.X K2拥有6880亿总参数,每个令牌激活330亿参数,SK电信发布的检查点使用块缩放FP8(一种8位数字格式)。虽然每个令牌仅运行330亿参数,但路由器会在256个路由专家中进行选择,由于任何令牌都可以被路由到任何专家,实际服务意味着需要加载所有专家。这使得内存容量而非算力成为可能的绑定约束,这是一种工程推断,而非公司声明。
由于R200的内存规格未知,Rebel100是最接近的参考对象。模型卡片显示FP8权重约为647 GiB(约695GB),而Rebellions列出每个Rebel100封装拥有144GB HBM3E内存,因此仅权重本身就需要至少五个封装(720GB),这还未计入任何KV缓存或激活值。英伟达的Dynamo方案在B200 GPU上也使用NVFP4检查点(一种4位格式),但并未说明Rebellions硅片是否支持该格式。
Rebellions的效率声明仍停留在厂商报告层面。Jon Peddie Research指出,针对Rebel100的独立基准测试仍然很少,并将相比H100每瓦特令牌吞吐量高出3.2倍的说法列为厂商声明。
NVLink Fusion仍是“二选一”:每个节点仍需英伟达硅片
NVLink Fusion仅是半开放的。ServeTheHome在NVLink Fusion发布时将其描述为一种“要么全有要么全无”的技术,每个节点仍必须包含英伟达硅片,且英伟达保持NVLink专有。UALink已发布2.0版本,这是一个用于连接加速器的竞争性开放标准。
韩国副总理兼科学部长裴京勋(Bae Kyung-hoon)在新闻稿中表示,韩国开发的NPU现在可以通过NVLink Fusion进入计算基础设施市场。通过NVLink融合的路径并不意味着摆脱对英伟达的依赖。“主权AI”没有公认的定义,一项关于该概念的调查指出,主权并不要求每个组件都国内生产,尽管对全球供应链的依赖仍然是一个担忧。
SK电信已运行Rebellions ATOM芯片,并计划在2027年建立基于Vera Rubin的AI工厂
SK电信计划在其AI数据中心部署这些系统,并将其连接到其专有模型(包括A.X K2)以及韩国“全民AI”项目下的公共服务。据RCR Wireless引用公司报告的数据,Rebellions的ATOM-Max芯片已经运行着SK电信的四项AI服务,包括通话摘要和欺诈检测。
此外,英伟达于7月24日表示,SK集团与英伟达已签署意向书,计划在韩国建立一个高达2吉瓦的AI工厂,基于英伟达的DSX平台和Vera Rubin GPU,首个设施计划于2027年建成。该公告未提及NPU。
彭博社8月曾报道收购谈判;本次公告未提及投资
彭博社于8月21日报道了早期阶段的谈判消息,当时英伟达CEO黄仁勋在英伟达圣克拉拉总部会见了Rebellions CEO朴成贤(Sunghyun Park),双方讨论了技术合作、投资或可能的收购。《EE Times Japan》指出,两家公司均未对该报道发表评论。周一的公告描述的是一项合作,未提及投资或收购,这表明这究竟是全部安排还是第一步尚不明确。
Rebellions在3月份的一轮IPO前融资中筹集了4亿美元,据报道估值为23.4亿美元。首尔方面的立场也发生了转变早前一项预留多达50%的国家AI计算中心芯片给国产NPU的计划在2025年的招标重写中被取消,韩国NPU需自愿争取席位。英伟达在2025年10月表示,韩国政府和行业将增加超过26万块英伟达GPU。
R200规格、交接基准测试及交付日期仍未披露
关注此计划的读者应留意四点:R200每个封装的内存容量、GPU与NPU机架之间测得的KV缓存交接延迟、任何已宣布的对R200的Dynamo或NIXL支持,以及独立基准测试结果。新闻稿也未提供SK电信的交付时间表、容量数据或商业条款。该公告是一份包含前瞻性陈述的厂商新闻稿,公司警告实际结果可能会有重大差异。
常见问题解答
什么是NVLink Fusion?
NVLink Fusion是英伟达旨在将定制CPU和XPU连接到其NVScale-up网络和MGX机架架构的项目。
AI推理中的预填充和解码是什么?
预填充处理用户的提示词,属于计算密集型;而解码逐个生成回复令牌,受限于内存带宽。
NVLink Fusion是否使韩国的NPU独立于英伟ada?
在互连层并非如此。ServeTheHome报道称,采用者仍必须在每个节点中包含英伟达硅片,且英伟达保持NVLink专有。
R200系统何时可用?
Rebellions表示,R200系统预计将于2028年准备就绪并投入部署。
- 收藏
- 点赞