侧边栏壁纸
  • 累计撰写 66 篇文章
  • 累计创建 48 个标签
  • 累计收到 2 条评论

目 录CONTENT

文章目录

英伟达AVO拿下ARC-AGI-3满分:不靠模型升级,靠外面加了一层壳

同一个Claude Opus 5,单独考只有30分,套上AVO之后直接满分。英伟达做了一件跟最近爆火的DeepSeek Harness、Codex Harness同样的事——不动模型,只优化模型之外的那一圈。

183关,6624步,满分

就在刚刚,英伟达的通用编码智能体AVO在ARC-AGI-3上拿了满分。25个游戏环境,183个关卡,全部通关,总共只花了6624步,RHAE拿到100.00。
1111.gif
ARC-AGI-3是出了名的“不讲武德”。它把智能体直接扔进一个陌生游戏,规则和目标都不给,全靠自己按、自己看、自己猜。有的环境能上下左右挪,撞上一个蓝黑色方块画面就转90度;有的连走都不让走,只能靠点击把格子颜色循环成目标图案。每个环境至少六关,越往后越狠——第一关五步能过,第六关得走五十步。

前沿模型直接硬闯根本搞不定。Claude Opus 5单独去考,成绩只有30.16%,而这已经是官方认证榜上的第一名。
ARC Prize拆过上一代模型的对局录像,归纳出三类典型错误:局部看懂了全局没看懂;把陌生机制往熟悉的游戏上套;过了关却没学会。第三种最要命——Opus曾经只用37步就打通了第一关,但对点击机制的理解从头就是错的,进到第二关还抱着那套错理论不放,最后卡死在里面。

外面加了一层壳

英伟达的做法是:不碰模型,只在外面加一层壳

同一个Claude Opus 5,分数直接从30分跳到了满分。

和最近爆火的DeepSeek Harness、Codex Harness一样,AVO管的也是模型之外的一圈事:给它什么上下文、给它什么工具、怎么存状态、怎么接反馈、卡住了怎么办、上下文满了之后怎么接着干。

具体到机制上,真正起作用的是两样东西。

第一个是持久记忆。 长时程任务最要命的地方在于上下文会满。一满,模型的记忆就清零了,前面试过什么、哪条路走不通、profiler吐出来什么结果,全都没了。下一轮开始,它又从头把同样的坑再踩一遍。AVO则把这些全部存了下来——过往的实现版本、每次评测的结果、编译器和分析器的输出、累积下来的推理过程都在里面。上下文重置之后,智能体从当前状态接着干,而不是从零开始重建整个搜索。

第二个是监督器。 主智能体负责埋头干活,看什么、改什么、测什么、提交什么都由它自己定。监督器不干活,只在旁边盯着整条搜索轨迹。一旦发现进展停滞,或者智能体开始原地打转反复做无用功,它就出手把主智能体拽向别的策略。

还有个细节:AVO跑ARC-AGI-3全程用的是纯文本模态,每一帧观察喂给模型的是一个精确的64×64文本网格,一张图都没有,一个图像token都没送。在一个满屏都是像素的游戏里,模型从头到尾一眼都没看见画面。

这套机制换来的,就是6624步跑完183关、RHAE拿满的那份成绩单。

英伟达从这里得出的结论是:长时程能力从来不是模型单独具备的,而是整个系统凑出来的。记忆决定哪些东西能留到下一轮,工具决定智能体能做出哪些动作,反馈让它知道自己有没有走错。而假设被推翻的时候,能不能爬回来接着干,决定了这份活能不能一直做下去。

它先革的是英伟达自己的命

有意思的地方在于,AVO压根不是为了打游戏做的。它的主战场是GPU算子优化

今年3月25日,英伟达往arXiv上传了一篇论文《AVO:面向自主进化搜索的智能体式变异算子》。题目里有两个关键词:进化搜索和变异算子。

进化搜索本身不复杂:手里攥着一批候选代码,改一改,跑一跑,留下最快的那版,再接着往下改,一代一代推过去。负责“改一改”的变异算子,过去是写死的,改法由人提前定好;后来换成LLM来改,也只是调一次吐一段代码。

而AVO的做法是,把整个变异算子换成一个自主智能体。它不仅能翻CUDA编程指南和PTX架构文档,能跑测试,能读profiler,还能自己诊断正确性故障,然后决定下一版改哪儿。

团队把它放到B200上,任务是优化注意力内核——Transformer里被榨得最狠的一个算子。然后人就撒手了。AVO连续自主跑了7天,探索了超过500个优化方向,最终提交40个有效内核版本。跑出来的多头注意力内核,比英伟达自家闭源的cuDNN最多快3.5%,比最前沿的开源实现FlashAttention-4最多快10.5%

随后它又把这套优化搬到了如今大模型主流的GQA上。这回只自主跑了大约30分钟,新内核就比cuDNN快7.0%,比FlashAttention-4快9.3%。

手写CUDA内核一直是这个生态里门槛最高的活,而AVO第一个超掉的就是它。

而ARC-AGI-3那25个游戏,用的就是这同一套系统。

调内核和打游戏,听上去是完全不搭界的两件事。但在英伟达看来,这两件事底下跑的是同一个循环:智能体先从残缺的证据里立起一个假设,动手去试,观察结果,把有用的状态存下来,再修正自己对问题的理解。假设错了就退回来重想,然后一轮一轮往下滚。

用英伟达自己的话说:能迁移的不是领域知识,而是维持长时程自主推进的那套机制

做出它的,是一支华人班底

把AVO那篇论文的作者名单拉出来,会看到一串很眼熟的名字。23个署名,几乎把过去十年开源深度学习基建的关键人物凑齐了。

共同一作之一的许冰,是英伟达的Distinguished Engineer,也是MXNet的作者。更早的时候,他还是2014年那篇GAN原始论文的第四作者。TVM和XGBoost的作者陈天奇也在名单上。再往下是FlashInfer的作者叶子豪,以及CUDA编译器元老Vinod Grover。坐镇的是Humphrey Shi,英伟达高性能AI副总裁,同时还是佐治亚理工的教授。

这次的博客署了五个名字,四位是华人。

最有意思的一段来自许冰此前的自述:一年半前他和同事刚在英伟达做智能体编程的时候,两个人都不懂GPU编程。正因为不懂,他们从第一天起就奔着完全自动、不用人插手的系统去做,还给这套路子起了个名字叫“盲编程”。一年半之后,这套不靠人指挥的系统,把人类专家优化了几个月的内核给超了。

账最后都结到了老黄的显卡上

一家卖显卡的公司,为什么要花一年半做一套不用人插手的智能体?

因为壳这一层,套谁的模型都行。AVO就跨模型跑过——同样的关卡,配GPT-5.6耗时更短,换成Opus 5则更省步数。英伟达不靠卖模型赚钱,但这一层它能占住。

模型这一侧走开源。今年8月推进的Nemotron 4瞄准万亿参数规模,预计秋季完成训练,模型免费送出去,钱在后面的GPU和软件栈上收。算力这一侧,长时程智能体正好是它最想要的负载。老黄今年在GTC上给出的判断是:推理拐点已经到来。过去两年算力需求涨了约一万倍,而使用量只涨了约一百倍,中间那个差值全被推理吃掉。

所以用谁家的模型不重要。只要智能体的活越干越长、越干越重,账最后都会结到他们的显卡上。

至于100分这三个字,眼下确实在快速贬值。三月份还没人能考到1分,Tycho在7月底率先拿下满分,VISTA在8月5日又拿了一次,AVO这张已经是六周里的第三张。但AVO做成的事并不会因此缩水——一个为了在B200上榨出FlashAttention最后几个百分点而生的架构,几乎原封不动地搬到了一个像素游戏里,然后跑通了。中间换掉的只有任务接口和评测方式,那个核心循环一行没改。

正如英伟达在博客最后写的那样:模型很重要,但模型不是智能体的全部

0

评论区