• 　　 NVIDIA BlueField-4为NVIDIA推理上下文记忆存储平台提供支持，这是一种专为超大规模级推理而设计的新型AI原生存储基础设施，旨在加速和扩大代理式AI。

• 　　全新存储处理器平台专为长上下文处理的代理式AI系统而构建，并具备超快速的长短期记忆功能。

• 　　推理上下文记忆存储平台可扩展AI智能体的长期记忆，并实现了机架规模AI系统集群之间的高带宽上下文共享，从而将每秒处理的token数量和能效提升高达5倍。

• 　　凭借NVIDIA Spectrum-X以太网，多轮AI智能体的扩展上下文记忆可提高响应速度、提高每个GPU的吞吐量，并支持智能体推理的高效扩展。

　　 NVIDIA 宣布，NVIDIA BlueField-4数据处理器作为全栈NVIDIA BlueField平台的一部分，为NVIDIA推理上下文记忆存储平台提供支持，这是一种新型AI原生存储基础设施，专为AI新前沿而打造。

　　随着AI模型扩展到数万亿参数和多步骤推理，它们会生成大量的上下文数据，并以键值(KV)缓存暗示，这对准确性、用户体验和连续性至关重要。

　　键值(KV)缓存无法长期存储在GPU上，因为这会成为多智能体系统中实时推理的瓶颈。AI原生应用需要一种新型的可扩展基础设施来存储和共享这些数据。

　　 NVIDIA推理上下文记忆存储平台通过扩展GPU内存容量，为上下文记忆提供基础设施，实现跨节点的高速共享，与传统存储相比，可将每秒处理的token数量和能效提升高达5倍。

　　 NVIDIA独创人兼首席执行官黄仁勋表示：“AI正在完全改变整个计算堆栈，现在，存储也加入了这场变革。AI不再是那种单次交互的聊天机器人，而是能够理解物理世界、进行长期推理、基于事实、使用工具完成实际工作并兼具短期和长期记忆的智能协作伙伴。借助BlueField-4，NVIDIA及其软硬件单干伙伴正在为AI新前沿重塑存储堆栈。”

来源： NVIDIA英伟达

相关标签：