OpenAI 公布了首款自研推理芯片 Jalapeño 的最新测试结果:取得了重大突破,这款芯片专为大语言模型推理设计,通过全新的架构设计,它能够同时提升吞吐量,并降低延迟,在保持高能效的同时,实现两者兼得。并在多个模型测试中超过 NVIDIA GB200、GB300 系统的效率表现。

随即,OpenAI CEO Sam Altman 也在 X 上表示:「我们制造了一款芯片,它的速度很快。
OpenAI 表示,传统硬件系统往往需要在两个指标之间做取舍:
更高吞吐量(throughput):单位时间处理更多请求;
更低延迟(latency):让用户更快得到响应。
根据已有的信息显示:
在多个大模型推理测试中,Jalapeño 要优于 NVIDIA GB200 和 GB300 系统
其中测试模型包括:OpenAI GPT-OSS 120B; DeepSeek R1 670B; Moonshot AI Kimi K2.5 1T。
注:Jalapeño 可能并不是用于训练下一代 GPT 模型的芯片,而是针对模型上线后的运行阶段进行优化。
评论区