首页 头条 电报 财讯 全球 研报 企业 研究院 人才 展会 百科
NVIDIA DSX 旨在提升固定功率预算下的产出效率
来源:Converge Digest 12 小时前 116

NVIDIA正通过DSX MaxLPS和DSX Flex应对AI数据中心的功率限制,将动态功率分配与响应电网的工作负载控制相结合。在10月21日举行的GTC柏林大会上,该公司表示,MaxLPS能够在减少高达30%功耗的情况下提供相同的令牌(token)输出。NVIDIA报告称,Nscale在冰岛对四个GB300 NVL72机架进行的评估显示,在264千瓦的既定功率预算内,推理吞吐量提高了49%,可管理的GPU容量增加了37%。

Lambda提供了另一个关于功率管理如何提高生产能力的案例。在使用NVIDIA HGX系统的概念验证中,它在相当于16节点基准的总功率预算下运行了19个节点,报告集群令牌吞吐量提高了约24%,每瓦性能提高了23%。MaxLPS将动态功率软件与芯片、系统和散热技术相结合,包括支持45°C冷却。该方法协调计算资源之间的可用功率,而不是将每台服务器的最大额定功率视为其恒定的运行需求。

DSX Flex将工作负载决策与公用事业信号、电价、可再生能源发电及储能连接起来。运营商可以通过与调度程序和DSX Exchange集成的策略,推迟灵活任务、调整功率预算并优先处理关键推理服务。NVIDIA表示,一项涉及Emerald AI、EPRI、Nebius和英国国家电网的早期试验显示,在模拟电网事件期间,Blackwell Ultra集群的功耗降低了高达40%,同时关键工作负载仍在继续。这些是拥有不同硬件、基准和目标的独立评估;这些百分比并不代表单一的综合性能增益。

NVIDIA DSX — 关键进展
• MaxLPS:在固定功率包络线内,协调GPU、机架和工作负载之间的功率分配。
• Flex:将电网和设施信号与工作负载策略、调度和功率控制相连接。
• 冷却:闭环液冷和干式冷却器旨在实现近乎零的设施冷却水消耗;辅助机械冷却取决于当地气候。
• 运营:DSX OS通过模块化软件涵盖配置、网络配置、集群验证和恢复。
• 证据:运营商的概念验证和早期试验;结果取决于工作负载、配置和比较基准。

“欧洲的AI雄心要求我们必须让每一兆瓦都发挥价值,”Nscale创始人兼首席执行官Josh Payne表示。

分析

架构上的区别在于:是更有效地利用电力分配,还是在电网需要灵活性时改变需求。MaxLPS解决第一个任务;Flex解决第二个任务。对于运营商而言,评估两者需要衡量已完成的工作、延迟、功率以及推迟任务的影响。集群需求的暂时性降低与减少完成工作负载所需的电力是不同的指标。

DSX还将基础设施运营与设施控制连接起来。其模块化软件涵盖网络、GPU编排、运行时验证和故障恢复,而Flex则纳入外部功率信号。我们的评估认为,下一个有用的证据将是显示这些控制在服务级别要求下协同工作的持续生产结果。报告的试验建立的是具体的操作示例,而非整个机队的节省效果。

NVIDIA | 公司简介
总部加利福尼亚州圣克拉拉
成立时间 / CEO1993年 / 黄仁勋(Jensen Huang)
状态纳斯达克:NVDA
业务加速计算、AI系统、网络和基础设施软件
基础设施DSX MaxLPS、DSX Flex和DSX OS
报道范围AI基础设施、GPU、网络、功率管理和液冷
  • 收藏
  • 点赞