小讯AIGC

henry 发自 凹非寺
量子位 | 公众号 QbitAI

老黄对token密集型任务下手了。

刚刚，在AI Infra Summit上，英伟达宣布推出专为处理百万token级别的代码生成和生成式视频应用的全新GPU——

NVIDIA Rubin CPX GPU

老黄表示：Rubin CPX是首款为超大上下文AI量身定制的CUDA GPU，可以让模型“一口气”推理数百万token。

而且，RubinCPX还能让你越用越省钱：每投资1亿美元，就能获得50亿美元的token收益。（50倍，你就赚吧，老黄说的）

对于“老黄画的饼”，CursorRunwayMagic等行业大佬也表示RubinCPX将分别在代码生产力生成式影像创作、以及大模型自主代理上带来突破。

那么好了好了，这GPU到底什么来头？

首款专为超大上下文AI打造的CUDA GPU

Rubin CPX基于NVIDIA Rubin架构，采用单片设计，内置NVFP4计算资源，主打AI推理的高性能和高能效。

它的性能提升，主要体现在以下几个方面：

• 在NVFP4精度下可提供高达30PFLOPS算力，做到性能与精度兼顾。
• 配备128GB高性价比GDDR7内存，应对最苛刻的上下文工作负载。
  – 与NVIDIA GB300 NVL72系统相比，注意力机制处理速度提升3倍，让模型在处理更长上下文序列时也不掉速。

在这里，我们可以简单地拿A100来对比一下。

在算力方面，相较于A100的FP16精度，Rubin CPX专门优化过的NVFP4可以实现几个量级的性能提升。

而在内存方面，NVIDIA A100是40GB80GB，Rubin CPX则直接干到了128GB，让超大上下文处理毫无压力。

（注：在处理超大上下文任务时，GPU内存容量至关重要：模型需要一次性加载数百万token的权重、激活值和中间计算结果，如果内存不够，就只能分批处理，既影响速度，也限制模型规模）

单片就已经这么强，组合还可以让它更厉害！

英伟达表示，Rubin CPX还可以与NVIDIA Vera CPU和Rubin GPU协同工作，构成全新的NVIDIA Vera Rubin NVL144 CPX平台。

该平台在单机架内提供8EFLOPS的AI算力+100TB高速内存+每秒1.7PB的内存带宽，较NVIDIA GB300 NVL72系统的AI性能提升了7.5倍。

*（注：1EFLOPS = 1000PFLOPS ）

还没完，在此基础上，NVIDIA Vera Rubin NVL144 CPX还可以接入Quantum‑X800 InfiniBand 或Spectrum‑X以太网平台，实现大规模多机互联计算，让性能再上一个台阶。

预计明年正式推出

就像前面提到的，NVIDIA Rubin CPX 在长上下文处理上实现了最高性能和最高token收益——远超现有系统的设计极限。

老黄表示，这将像RTX 革新了图形和物理AI一样，改变AI时代的上下文推理能力。

在实际应用中，它能把AI编程助手从简单的代码生成工具，升级为能够理解并优化大规模软件项目的复杂系统。

在视频处理方面，由于AI模型分析一小时内容就可能涉及上百万token，突破了传统GPU的算力极限。

为此，Rubin CPX将视频解码、编码和长上下文推理处理集成在单芯片中，为视频搜索和高质量生成式视频等长时格式应用提供前所未有的能力。

此外，Rubin CPX将得到NVIDIA完整AI软件栈支持，从加速基础设施到企业级软件一应俱全。

最后，NVIDIA Rubin CPX预计将于2026年底正式推出。

Token密集型任务就要不密集了（一年后版）

[1]https://nvidianews.nvidia.com/news/nvidia-unveils-rubin-cpx-a-new-class-of-gpu-designed-for-massive-context-inference
[2]https://www.runpod.io/articles/guides/nvidia-a100-gpu?utm_source=chatgpt.com