MirroS 开源 AgentGarten：用代码造世界，让智能体在试炼场里“边玩边进化”

导语：智能体的军备竞赛，换赛道了

2026 年 10 月 8 日，中国团队 MirroS 在官方博客发布研究《AgentGarten: Code Worlds for Evolving Agents》，同步放出论文（arXiv:2610.12374，作者含清华大学的龙明盛）并开源了代码仓库（Apache-2.0）。这不是又一篇"我们调出了更大的模型"的论文，而是一次基础设施宣言：智能体的下一轮军备竞赛，不在参数，而在世界——谁能低成本造出物理可信、视觉可信、还能反复试错的环境，谁就能量产经验。

这个判断值得认真对待。过去两年，agent 的进步几乎全被"模型更强了"解释：推理更长、工具调用更稳、上下文更久。但经验本身从哪里来？真实世界太贵、太慢、太危险，模拟器又太假。MirroS 给出的答案是"代码造世界"：物理交给代码，光影交给神经渲染器。代码世界导出深度和表面法线等几何条件，渲染器实时生成智能体的第一人称画面，在单卡上做到 480p 超过 30fps。环境可查询、可干预、可定裁判规则，画面又足够真实——鱼和熊掌第一次被同时端上桌。

而最抓人的证据，是一次对历史的复刻：OpenAI 2019 年著名的躲猫猫实验里，自博弈 RL 用约 2500 万 episode 学会"搬挡板建掩体"，用约 1 亿 episode 学会"借坡道翻墙"；在 AgentGarten 里，预训练智能体靠"行动—复盘—写 playbook"循环，第 4 轮学会搬挡板，第 10 轮学会借坡道。经验的积累方式，从"把梯度写进权重"变成了"把教训写成文件"——这恰恰是 vibe coding 里 Skills 沉淀的学术版。对每天靠写 prompt、攒 skill 文件过活的 vibe coder 来说，这篇论文的方法论部分，可能比它的渲染器更有用。

老问题的新解法：代码管物理，扩散管光影

先把这个领域的两难摆清楚。代码写出来的环境（模拟器、游戏引擎）有一个巨大优点：状态是显式的——你可以查一个物体的属性、改两个物体的关系、规定"什么算犯规"。但它的画面取决于你手里有多少美术资产和渲染管线，做出来的场景往往几何简化、材质重复、光照假得像上世纪的游戏。另一条路是以视频生成为核心的世界模型：画面漂亮，镜头和动作都能控制，但世界的信息全藏在生成历史和内部记忆里，没有显式的、可查询可编辑的世界状态。你想查个坐标、改条规则、定个裁判？对不起，纯生成式系统给不了你这个可编程接口。

AgentGarten 的设计就是把这两条路焊在一起：代码决定世界如何变化，渲染器学习这些变化应该长什么样。和一次生成整段视频窗口的做法不同，它的渲染器以很短的块为单位增量生成——智能体可以先做一个短动作，亲眼看看后果，再决定下一步，然后下一个块的条件才生成。也就是说，未来的观测条件取决于智能体对它实际看到的东西的反应。这是一个真正的交互闭环，而不是"先拍好电影再让智能体看"。

技术细节也相当扎实：渲染器从预训练的视频模型（NVIDIA Cosmos3-Nano）出发，用深度/法线做几何条件——选几何条件很聪明，因为训练时模拟器可以直接导出深度法线，真实视频也能用现成的估计器算出来，推理时任何有 3D 场景的代码世界都能廉价渲染出这些条件。训练上用了一套叫 Adversarial Forcing 的方法：块因果注意力做自回归、精确回放让梯度能流回历史编码、再加上真实数据的对抗信号保证长 rollout 不崩。推理侧则是手写 Triton 融合 kernel 加 CUDA graph，直接把速度干到实时。

我的判断是：这套架构真正的价值不在"画面好看"，而在"环境库可以规模化"。以前每做一个新环境，你都要重做一套美术资产和渲染调优；现在所有环境共享同一个学好的渲染器，造新世界只剩下写代码——布局、物体、动力学、交互规则、任务目标都可以系统地生成和修改。造世界的边际成本，被从"美术工程"降到了"写程序"。这才是"军备竞赛在世界"这句话的底气。

复刻 2019 躲猫猫：从"一亿 episode"到"十轮"

论文最有说服力的部分，是对 OpenAI 2019 年躲猫猫实验的正面复刻。那场实验是"涌现式工具使用"的经典：两个智能体自博弈，藏匿者先学会搬挡板建掩体（约 2500 万 episode），搜寻者再学会拖坡道翻墙（累计约 1 亿 episode）。环境通过反复竞争，逼出了一整套越来越精巧的策略。

MirroS 把同一个游戏搬进了代码世界，但换了一套完全不同的学习机制：一个预训练智能体，每轮玩 5 局，智能体只能看到神经渲染出的第一人称画面——没有坐标、没有隐藏状态、看不到对手的私有观测，直到回合结束连分数都不知道。每轮结束后，藏匿者和搜寻者各自复盘自己的动作程序和能看到的视觉证据，把教训写成 playbook：一个技能一个短文件。下一轮，智能体带着继承来的 playbook 继续玩，判断当前场景适用哪条旧经验。成功和失败的尝试都会进入下一版修订。

结果：第 4 轮，藏匿者开始搬长挡板去墙角搭掩体；第 10 轮，搜寻者学会把坡道拖到墙边翻过去。更有意思的是那个"把坡道推近再试"的镜头：第一次攀爬差一点没上去，搜寻者主动把坡道往墙根挪了挪，第二次成功翻越——这不是预设脚本，是复盘写进 playbook 又被下一轮调用的证据。

把两边摆在一起看，差异是范式级的：

	OpenAI 2019 · 自博弈 RL	AgentGarten · 预训练智能体
智能体看到什么	物体坐标、速度、激光雷达读数	神经渲染的第一人称画面
怎么行动	每步一个离散动作	提交简短 Python 动作程序
经验存在哪	策略网络的权重里	playbook：一库短技能文件
学会建掩体	约 2500 万 episode	第 4 轮（每轮 5 局）
学会用坡道	约 1 亿 episode	第 10 轮

必须泼一盆冷水：这个对比并不完全公平——2019 年是从零训练策略网络，AgentGarten 用的是已经见过人类世界全部知识的预训练模型，起跑线根本不同。但这恰恰是重点：预训练模型把"常识"前置了，世界模型要解决的不再是"从零学会走路"，而是"在具体任务里把经验沉淀下来"。Playbook 机制回答的正是这个问题：经验如何显性化、可继承、可审计。这比"几轮学会"这个数字本身重要得多。

五个代码世界，同一套"练功流程"

躲猫猫只是开胃菜。同一套"读任务—并行玩—写 playbook—归档"流程，被原样搬进了四个完全不同的世界，每个世界跑四轮：

• 陪伴犬：60 秒里让一只狗保持舒适、愿意互动。可以伸手给它闻、挠胸口或头顶、拿球逗它，也可以收手。从镜头画面里，智能体得自己琢磨这只狗吃哪一套——狗放松时会小步靠近，紧张了会转身走开。
• 单车道桥：两辆车从桥两头出发，桥面只容一车通过，各由一个智能体从挡风玻璃视角驾驶，120 个模拟秒内都得过到对岸。桥头有避让湾，一方得学会等。
• 牧羊：两只牧羊犬各自只有自己眼睛高度的视角，180 秒内把 4 只羊赶进围栏并保持 5 秒。羊会躲近处的狗，逼太紧还会炸群散开。
• 采石场装载机：一台轮式装载机 360 秒内按顺序完成三连任务：把两块石头推上 staging 台、绕过一堵墙把其中一块推进掩体、最后把车停回车位。

注意这个列表的跨度：从双人对抗，到人宠交互，到多智能体协同驾驶，到群体控制，再到长程工具操作——五个世界共享同一个渲染器、同一套练习循环，变的只是代码。这正是"代码造世界"的可扩展性承诺：新任务不需要新管线，只需要新程序。论文里每个世界都有自己的记分牌（陪伴犬看互动分数、桥看双车过桥用时、牧羊和装载机看百分制），四轮下来分数都在涨，说明 playbook 沉淀不是躲猫猫的个例。

为什么 vibe coder 应该关心：playbook 是 Skills 沉淀的学术版

好了，说回我们读者最该带走的东西。把 AgentGarten 的练习循环翻译成 vibe coding 的语言：每轮结束复盘 → 把经验写成短文件 → 归档 → 下一轮带着旧文件开工。这不就是我们每天在干的事吗？Claude Skills、cursor rules、项目里的 AGENTS.md——都是"把踩过的坑写成文件，让下一轮的自己（或下一个 agent）别再踩"。

MirroS 的贡献是把这套土办法学术化、机制化了：复盘的对象是"动作程序 + 允许查看的视觉证据"，沉淀的单位是"一个技能一个文件"，继承的方式是"新智能体从任务文件和旧 playbook 出发"。三条都很值得抄：第一，复盘要有输入约束——只允许看自己合法看到的东西，防止经验里掺进"上帝视角"的作弊知识；第二，技能文件要短、要单职责，一个文件只讲一课，方便下一轮检索调用；第三，playbook 要冻结归档、版本化，而不是在原文件上无脑追加，这样才知道哪条经验是哪一轮加的、效果如何。

这里必须和站内 cycle37 的那篇 RRSI 文章连起来看。那篇讲的是 Google 等人提出的"自我改进的正则化"——戳破 agent 自进化过拟合的泡沫，核心论点是：让模型自己评判自己、自己给自己加分，迟早会塌。AgentGarten 恰好是同一问题的另一面回答：RRSI 是批判（别这么练），AgentGarten 是基建（要这么练）——经验不写进权重写进文件，评估不靠自嗨靠代码世界定的裁判规则，每一步都可审计、可回放。一篇讲"此路不通"，一篇讲"路在这里"，两篇对照着读，才是关于"智能体如何进化"的完整拼图。推荐先读 RRSI 那篇的方法论批判，再回来看这篇的工程解法。

诚实时间：开源了什么，还没开源什么

标题说"开源"，得把话说准，免得读者 clone 下来骂街。仓库 MirroS-Lab/AgentGarten 是 Apache-2.0、2026 年 10 月 8 日创建，目前放出来的是神经渲染器：训练代码（双向、自回归、Adversarial Forcing 三阶段）、流式推理代码、 checkpoints 也上了 Hugging Face。Star 数在几天内涨到 161，说明社区确实在看。

但 README 的 TODO 列表里明明白白写着：代码世界和智能体练习循环（play、review、playbooks 的那套）还在"即将发布"，实时渲染引擎的流式服务端和交互前端也在路上。也就是说，今天你能跑的是渲染器，五个世界和 playbook 循环还得等。所以这篇资讯的正确读法是"方向已验证、核心部件已开源、完整拼图待补全"——值得 star、值得跟踪，但别指望今天就把牧羊犬跑起来。学术界"论文先行、代码分批"是常态，MirroS 至少把最难的渲染器部分先交出来了，这比只发论文不发代码的要实在。

结语：稀缺资源正在从模型变成世界

把视线拉远一点：阿里同期也有 Qwen-AgentWorld 这样的世界模拟器工作，两条路线在回答同一个问题——智能体需要一本什么样的"世界手册"。一边是视频生成式的大一统世界模型，一边是代码+神经渲染的混合路线。我的判断是，短期内混合路线会赢：因为智能体训练最缺的不是"看起来真"，而是"可干预、可裁判、可复现"，而这三样恰好是代码世界的本能。

对 vibe coder 的行动建议就三条：第一，去给仓库点个 star，把渲染器的训练 recipe 存下来，视频生成+几何条件的组合拳以后做具身、做游戏 AI 都用得上；第二，把 playbook 那套"复盘—短文件—冻结归档"的流程抄进你自己的 agent 工作流，今天就能用；第三，记住这个判断——未来三年，限制 agent 进步的很可能不是模型，而是我们造世界的速度。先造出世界的人，先拿到经验。