返回探索
资讯VibeFix 内容整理更新于 2026年11月20日

OpenRouter 实测:六模型 Agent 死循环,四层防护把工具调用从 314 砍到 64

OpenRouter 把同一个故意写坏的记账 Agent 在六个模型上各跑三次:18 次运行,不开防护工具调用 314 次、花费 0.29 美元;开了重复调用检测,调用降到 64 次、花费 0.05 美元。四层防护——重复调用检测、loopKey 归一化、步数与费用上限、密钥额度——每层拦住的循环都不一样,单拎一层出来都不够用。

OpenRouter 官方实测图:未加防护的 Mistral Large 4 运行累计成本曲线,41 轮后达到 0.0309 美元,曲线越往后越陡峭。

先说结论:循环不是模型犯傻,是循环本身没有刹车

做 Agent 的人,迟早都会遇到这么一幕:早上打开账单,发现某个 Agent 一夜之间烧掉了几百上千美元,而它其实什么都没干成,只是在原地反复调用同一个失败的工具。OpenRouter 在 2026 年 11 月 12 日发了一篇实测指南,标题就叫《如何阻止卡在无限循环里的 AI Agent》,把这件事拆开来测了一遍:同一个会失败的记账 Agent,在六个当红模型上各跑三次,一共 18 次运行;不开防护,工具调用总计 314 次、花费 0.29 美元;开了重复调用检测,调用降到 64 次、花费降到 0.05 美元。调用数砍掉八成,花费砍掉八成以上。先把丑话说在前面:这组数字是 OpenRouter 自家团队在自家 SDK 上测出来的,样本只有 18 次运行,场景也只有一个故意写坏的工具,本文没有独立复现过这些数字;但它揭示的机制是通用的,循环为什么发生、为什么越跑越贵、四层防护分别拦住什么,这些判断不依赖于 OpenRouter 的产品,任何一个自己写循环的人都用得上。这篇文章就按这个思路写:OpenRouter 只作为实测数据的来源,方法论是大家的。

先把循环的成因说清楚,因为很多人第一反应是怪模型笨。不是。Agent 循环的结束条件只有一个:模型不再要求调用工具、直接给出答案。工具一直失败,模型就永远没有理由停下:报错被塞回对话,指令还在说把任务做完,于是再试一次看起来就是最合理的下一步。循环里没有任何东西在数这是第几次尝试,除非你写代码去数。更要命的是,每一轮都要把整段对话历史重新发给模型,包括之前所有的失败记录,所以循环越往后跑,单轮越贵。实测里记了一笔账:某一轮输入从 131 个 token 膨胀到 3262 个 token,单轮成本接近翻了四倍。这就是为什么循环的账单不是线性增长,而是一条往上翘的曲线:封面那张图就是实测里没加防护的 Mistral Large 4 跑出来的累计成本,41 轮之后停在 0.0309 美元,曲线越到后面越陡。0.03 美元听起来不吓人,但这只是演示用的便宜模型、单次运行、还被人为设了 40 步的上限。换成贵几倍的模型、几十个会话同时跑、再把上限放开,一个晚上烧掉几千美元完全不夸张。循环真正的危险不在于单次调用贵,而在于它在你睡觉的时候一刻不停地自我复制成本。

OpenRouter 官方实测图:未加防护的 Mistral Large 4 运行累计成本曲线,41 轮后达到 0.0309 美元,曲线越往后越陡峭。

实测是怎么做的:一个故意写坏的记账 Agent

为了把循环稳定复现出来,OpenRouter 的团队写了一个极简的记账 Agent:它只有一个工具 fetch_invoice,作用是按发票编号去查账单总额,而这个工具被写死成每次都抛错,模拟账单服务宕机的样子——“billing-service timeout after 30s”。Agent 的指令也写得很直白:“你是个记账 Agent,把任务做完;工具调用失败就重试;没拿到发票总额不许停。”输入只有一句:“查一下发票 INV-2291 的总额。”这个设定看起来有点极端,但它恰恰是生产环境里最常见的死法:下游服务挂了,Agent 的指令里又写了“失败就重试”,两者一碰上就是死循环。测试用的 SDK 是 @openrouter/agent 0.11.0,循环跑在 callModel 这一个函数里。六个模型分别是 Claude Haiku 5.5、DeepSeek V4.1 Flash、Gemini 3.8 Flash、Mistral Large 4、GPT-6 Luna 和 Grok 4.7,每个模型跑三次,每次都先不设防护、只设一个 40 步的步数上限兜底,再开防护重跑一遍。先看不设防护的结果:Claude Haiku 5.5 三次都是 6 次调用;DeepSeek V4.1 Flash 是 6、5、7 次;Gemini 3.8 Flash 是 5、6、5 次;Mistral Large 4 是 11、41、41 次;GPT-6 Luna 是 17、37、21 次;Grok 4.7 是 41、12、41 次。18 次运行里有 4 次撞上了 40 步上限。开了重复调用检测之后,六个模型全部在第三次重复调用时被拦住;16 次运行在两次真实工具调用之后就结束了,只有两次例外——Mistral Large 4 有一次跑出 12 次调用,GPT-6 Luna 有一次跑出 20 次。这张成绩单里最值得注意的不是平均数,而是方差:Grok 4.7 在完全相同的输入下,三次分别跑出 41、12、41 次调用。一次干净的测试证明不了你的 Agent 不会循环,模型的行为本来就是随机的,同一套提示词今天不循环、明天可能就循环了。所以防护不能靠“测过一次没事”,得靠机制兜底。

再看那次最出名的演示:Mistral Large 4 不开防护跑了 41 次调用,花了 0.0309 美元,最后是因为 40 步上限才停下——多出来的那一次,是模型在上限触发时已经发出的调用,SDK 照例还是执行了它。41 次调用的参数一模一样,全是 fetch_invoice(“INV-2291”)。最后模型给出的答案也很有意思:它清清楚楚地写着账单服务 41 次都超时了。也就是说,模型每一轮都知道服务挂了,但还是继续重试。指望模型“自己想通”是不现实的:它没有全局视角,不知道自己已经试过多少次,除非你把“你已经失败 N 次”这件事明确地、带着后果写进它能看到的反馈里。这就是第一层防护存在的理由。

第一层:重复调用检测,第三次相同的调用就拦

第一层防护叫 doom-loop detection,中文可以叫它“末日循环检测”,在 callModel 里只要加一行 doomLoop: true 就打开。它的原理很朴素:给每一次工具调用算一个指纹,指纹由工具名加上规范化之后的参数组成,参数里 JSON 键的顺序打乱了也不影响指纹,因为 SDK 会先把参数 canonicalize 再算。注意一个细节:只有模型在看过上一次调用结果之后又发起相同的调用,才算一次重复;同一轮里一次发出五个相同的调用,只算一次。随着重复次数增加,检测按一个默认阶梯升级:第二次重复只是观察,第三次开始拦截,第六次直接叫停。被拦截的调用不会真的执行,SDK 直接返回一个工具错误,告诉模型“你在重复自己,再试也不会有不同结果”。大多数情况下,模型读到这条错误就直接写最终答案、正常结束了;演示里那次是个例外,模型被拦住之后还在继续要调用,于是阶梯走到第六次时整个运行被叫停,结束原因是 doom_loop,还能通过 getDoomLoopVerdict()拿到一句话的停机原因,方便接进告警。开检测的那次演示只跑了两次真实调用,花了 0.0034 美元,跟没防护的 0.0309 美元比,省了将近九成。

阶梯的阈值可以自己调。把阶梯改成观察 2、拦截 3、叫停 4,GPT-6 Luna 的一次运行在第四次重复时就停了,只花了 0.0002 美元。阶梯上还有两个默认关闭的档位:steer 是给模型发一条“你正在重复”的提醒,escalate 是把下一轮交给一个你指定的更强模型去跑。这两个档位值得单独说一句:steer 的思路是对的——很多时候模型不是故意捣乱,只是没意识到自己在原地打转,一句提醒就能让它换个做法;escalate 则要小心使用,升级模型本身就是在加成本,拿它来救一个已经失控的循环,很容易变成花更多的钱去撞同一堵墙。我的判断是:默认阶梯对大多数场景已经够用,先把观察、拦截、叫停三个档位用起来,再考虑要不要开 steer;escalate 只适合那种“换个更强的模型真有可能做成”的任务,而不是用来给死循环续命。还有一点很关键:重复检测只认重复,它拦不住那些每一轮都换花样的循环。模型每轮都试点新东西,永远不重复指纹,检测就永远不会触发。这就是为什么光有第一层不够,后面还需要硬上限。

第二层:告诉检测器,什么才算“同一个调用”

第一层有个很现实的漏洞:模型被拦住之后,会改一改参数再试。实测里写得很生动:fetch_invoice(“INV-2291”)被拦住,模型就改成 fetch_invoice(“2291”),再改成 fetch_invoice(“inv-2291”),再改成 fetch_invoice(“INV2291”),指纹一变,计数就重新开始。在又补做的九次 Mistral Large 4 运行里,模型五次玩了这招,其中三次靠来回切换 INV-2291 和 inv-2291 这种大小写把戏,一路顶到了 40 步上限;GPT-6 Luna 则是靠在参数末尾加空格和换行来蒙混过关。模型这么干并不奇怪:拦截消息告诉它“换个做法试试”,而它手里只有一个工具,唯一能换的就只有参数。所以检测器默认的“参数完全相等才算重复”太天真了,必须由开发者告诉它,到底什么才算同一个调用。

解法是给工具配一个 loopKey:一个函数,抽出参数里真正决定调用身份的那部分。对发票这个例子,就是只取数字:把 invoice_id 里的非数字字符全部去掉,“inv-2291 ”、“INV-2291”、“INV2291”就全都映射成 2291,计数不再重置。配上 loopKey 之后再跑,六次运行里有五次在两次真实调用后就停了,第六次模型试了一个不同的发票号 INV-0000,计数被正确地重置了——这恰恰证明归一化没有过度拦截,真正不同的调用还是能跑。归一化的原则是:只保留决定工具会取到哪条记录的字段,把大小写、空格、前缀、超时时间这种不改变结果的东西都去掉。如果想彻底忽略某个字段,可以用数组形式只列出关键字段,比如 loopKey: [‘invoice_id’]。反过来,有些工具的工作就是重复调用,比如轮询任务状态,那就要明确设置 loopKey: false,告诉检测器别管它。这一层的通用教训是:重复的定义权不应该交给模型,而应该掌握在写工具的人手里。你最清楚哪个参数变了才算“换了个请求”,这个判断写进代码,比事后看日志复盘可靠得多。实测里还有个细节值得记:光靠第一层加第二层,Mistral 那次参数变形的运行还是跑到了 13 次调用、0.0125 美元。重复检测再聪明,也只是针对“重复”这一类循环,兜底还得靠下一层。

第三层:步数和费用硬上限,给每次运行封顶

第三层是 stopWhen,也就是每次运行的硬上限,跟检测逻辑无关,不管循环是什么原因、长什么样子,到线就停。实测里的配置是三条并列:步数不超过 15 步、费用不超过 0.01 美元,再加一个自定义条件——连续失败满五次就停。失败计数器是自己用钩子维护的:工具调用失败一次加一,成功一次清零。它不看参数,所以第二层里那种改参数蒙混的把戏,在它面前也没用。拿 Mistral Large 4 那次改参数的运行来测,加了这套上限之后,六次调用、0.0062 美元就停了。配上限有个经验值可以参考:实测里正常运行一般是四到六轮,在 Mistral Large 4 上花 0.0018 到 0.0053 美元,所以 15 步加 0.01 美元的上限留了大约两到三倍的余量,既不会把正常任务拦腰截断,也不会放任一次 40 轮的长跑。两条上限里,费用上限更重要,因为后面的轮次比前面的贵得多,步数上限拦住的是轮数,费用上限拦住的才是钱。

这里有两个实现细节值得注意。第一,所有 stopWhen 条件都是在每轮结束之后检查的,一旦命中就停;而且当上限触发时模型手里可能还攥着没执行的工具调用,SDK 会先把这些调用执行完,再多跑一轮不许调用工具的收尾,让模型把答案写出来。这就是为什么 40 步的上限跑出了 41 次调用、5 步的失败上限跑出了 6 次调用。如果你不想要这个收尾轮,可以设置 allowFinalResponse: false。第二,每种 stopWhen 条件触发时,结束原因都一样写成 max_turns,分不清到底是哪条线被触发了,所以需要自己记日志,把触发原因写清楚,否则事后排障的时候会对着一条 max_turns 干瞪眼。最后,这一套完全不依赖 OpenRouter 的 SDK:同样的思路可以搬进任何自己写的循环里——按工具名加归一化参数计数,第三次重复就返回一条“已被拦截、请告诉用户出了什么问题”的工具结果,不再真的执行;步数或者累计费用一到线就停。实测里还给了个 Python 版本的对照:不用 SDK、直接调聊天补全接口,同样是 Mistral Large 4,三次运行都在四步之内、不到 0.002 美元就停住了。方法论是通用的,SDK 只是把它打包好了。

第四层:密钥额度,服务端最后一道墙

前面三层都跑在你自己的 Agent 进程里。进程里的代码有 bug、某次部署漏了上限配置、或者一百个会话每个都乖乖待在自己的上限之下、加起来却照样能烧穿预算——这些情况前三层都管不了。第四层是密钥上的信用额度,由服务端在请求到达模型之前检查,所以就算你的代码出了问题,它也照样生效。具体做法是给密钥设一个金额上限和一个重置周期(每天、每周、每月,或者不限)。如果密钥走的是自带密钥模式,还要把 include_byok_in_limit 设成 true,因为它默认是 false,自带密钥的消费默认不计入额度——这个默认值是个很容易踩的坑,设了额度却发现自带密钥的账单没被算进去,大概率是这里没改。每日额度在 UTC 午夜重置,每周额度在周一重置。实测里还演示了一次 402 报错:拿一个只剩 9.97 美元的密钥,去发一个 max_tokens 设成 900000 的请求,服务端在路由之前先按最坏情况估价——输入加上最大输出——发现装不下就直接拒绝,连一分钱都没扣,返回的错误里带着 limit_source: “openrouter_key_limit”。

第四层有几个操作要点。第一,判断额度耗尽要认 error.metadata.limit_source 这个字段,而不是看报错文案或者状态码;额度耗尽的请求和超支的请求都报这个来源。第二,只有一个 402 值得重试:openrouter_in_flight_budget,等它的 Retry-After 头过期再试;额度耗尽导致的 402,重试多少次都没用,等额度重置才是正解。第三,429 是限流,不是额度问题,别把两者混在一起处理。第四,工作区预算是把额度池化到整个工作区的所有密钥上,按天、周、月或者不限期统计,超了就返回 403,提示类似“本月 500 美元的工作区预算已超支”。不过要如实说明:这条 403 的文案来自官方文档,实测团队自己并没有真的触发过它。另外,正在飞行的请求不会被中途掐断,所以实际花费可能会比额度稍微超一点,但一个跑了一整夜的循环会在接近每日上限时被摁住,不会无限烧下去。我的判断是:第四层不是“有了更好”,而是“必须有”。前三层决定单次运行会不会失控,第四层决定整个系统会不会失控。给每个 Agent、每个客户单独配密钥,让一次循环最多只能烧掉它自己那份额度,这是成本隔离最便宜的做法。

四层分别拦什么:别指望一层包打天下

把四层放在一起看,每一层拦住的循环类型是不一样的。完全相同的调用重复出现,第一层能拦住,第三层和第四层也能在上限处拦住;参数稍有不同的重复调用,第一层就看不见了,得靠第二层的归一化,或者第三层和第四层的硬上限;每一轮都换新花样的循环,前两层都拦不住,只能靠步数和费用上限,或者密钥额度;很多次运行、每次都在自己的上限之下,加起来超支的情况,前三层按次生效、完全没办法,只有第四层能按总量拦住;最极端的一种是某次部署干脆漏掉了防护代码,前三层等于不存在,这时候能救场的还是第四层。这个对照关系就是这篇实测最值钱的部分:它把“防循环”从一个模糊的感觉,变成了一张分工明确的责任表。很多团队出事,问题不是“没想到要防”,而是只防了一种:设了个步数上限就觉得万事大吉,结果几十个会话各跑各的、每个都不超步数,账单照样爆炸;或者只做了重复检测,结果模型换个参数就绕过去了。每一层都有自己的盲区,四层叠在一起,盲区才互相补上。

这组数字能信多少:先泼三盆冷水

数字很漂亮,但漂亮数字最需要冷静。第一,样本太小了。18 次运行,每种模型每种条件只有三次,Grok 4.7 同一个输入三次跑出 41、12、41 次调用,这种方差下,任何精确到小数点后两位的平均数都不值得太较真。314 到 64、0.29 美元到 0.05 美元,正确的读法是“防护把调用量和花费都砍掉了一个数量级左右”,而不是“你的账单也会正好省 83%”。第二,场景太单一。整个实测只有一个工具、一种失败方式——工具每次都超时。如果你的 Agent 有十个工具、失败方式五花八门、还有的工具偶尔成功偶尔失败,检测的效果会打折扣,调参的空间也会大得多。第三,这是厂商自家在自家产品上的测试,测试场景、阈值选择、甚至六个模型名单,都有可能是挑过对自己有利的组合。六个模型里有三个是便宜的小模型,Haiku 5.5、DeepSeek V4.1 Flash、Gemini 3.8 Flash 本来就不怎么循环,真正爱循环的 Mistral Large 4 和 Grok 4.7 反而是少数派。样本里还有个值得玩味的点:不开防护时,三个便宜模型每次都只有五到七次调用,自己就停了——有的模型天生就没那么“轴”,防护对它们的收益本来就小。实测的价值不在于数字本身,而在于它把每种机制的生效方式都摊开给你看,包括失效的方式:模型怎么绕过检测、绕过之后长什么样、哪一层能接住,这些细节比 314 到 64 更有参考价值。

还有一点要提醒:阈值不能照抄。15 步、0.01 美元、连续失败五次,这些数字是按实测里那个四到六轮、每次几毫美元的记账任务标定的。你的任务如果正常就要跑二十轮、单次成本就要几美分,照抄这套阈值等于亲手给正常任务判死刑。正确的做法是先跑一段时间不设限的观测,记下正常任务的轮数和费用分布,再把上限定在正常值的两到三倍。费用上限尤其要按你自己的模型定价来算:实测用的是便宜模型,换成旗舰模型,同样的 15 步可能就是几十倍的钱。同样的道理也适用于阶梯阈值:观察 2、拦截 3、叫停 6 是个合理的起点,但如果你的工具调用本身就有合法的重复——比如重试一次可能就成功了——拦截阈值就要放宽,或者给重试留出明确的例外。防护的本质是 trade-off:拦得太松等于没拦,拦得太紧会把正常任务也误杀。没有一组放之四海而皆准的数字,只有“先观测、再定阈值、定期复核”这个流程。

不依赖任何厂商的通用清单:下周一就能动手

把 OpenRouter 的 SDK 名字拿掉,这篇实测剩下的方法论可以原样搬到任何 Agent 框架上。LangChain 的 AgentExecutor 有 max_iterations,CrewAI 有 max_iter,作用都和 stepCountIs 一样,都是步数上限;费用上限和失败计数器在任何框架里都能自己写几行代码实现;密钥额度在各家厂商那里都有对应物,名字可能叫预算、限额或者 guardrail,机制大同小异。下面这份清单不绑定任何产品,照着做就行:第一,给每个工具调用算指纹,工具名加上归一化后的关键参数,第三次重复出现就不再真的执行,而是返回一条写清楚的错误,让模型知道“再试也没用,请告诉用户出了什么问题”;第二,归一化规则由写工具的人来定,大小写、空格、前缀、超时时间这些不改变结果的差异,统统在算指纹之前去掉,轮询类工具要明确豁免;第三,每次运行同时设步数上限和费用上限,费用上限以正常任务实测值的两到三倍为准,并且记下每次触发的是哪条线;第四,连续失败也要单独计数,不管参数变没变,失败五次就停,工具返回的错误信息要告诉模型下一步该做什么,而不是只说“失败了,请重试”——“请重试”这三个字,某种意义上就是循环的源头;第五,给每个 Agent、每个客户单独配密钥和额度,额度由服务端强制执行,部署漏配防护也不至于烧穿总预算;第六,定期复核,看看拦截日志里有没有正常任务被误伤,阈值是不是还合身。

最后说一句判断。Agent 的成本问题,很多人第一反应是换更便宜的模型,或者压缩提示词,这些当然有用,但它们省的是“每次调用多少钱”,而循环省的是“会不会有几百次本不该发生的调用”。这两件事的量级完全不同:提示词优化省下来的是百分之几十,防住一次通宵循环省下来的可能是百分之九十以上的账单。更值得警惕的是,循环烧掉的不只是钱,还有时间、配额和下游服务的可用性——一个发疯重试的 Agent,同样能把你的数据库或者第三方接口打垮。防护的四层结构,本质上是在回答一个问题:当模型犯轴的时候,谁来叫停?答案是:检测器叫停重复,归一化叫停伪装,硬上限叫停长跑,密钥额度叫停整个系统。每一层都不知道自己会不会是最后一道防线,所以每一层都要在。等你的 Agent 第一次在半夜被自己的防护摁住、第二天早上你只看到一条干干净净的拦截日志而不是一张天价账单时,你会明白这四层里最便宜的那一层,其实是最贵的那一层替你省下的钱。

阅读 13评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目

相关文章

一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态
黑色背景上,一名指挥家背对镜头高举指挥棒,脚下环绕着旋转的光轨,像一支乐队正在被指挥
资讯
一个接口接 45 个模型,坏了自动换一家接着跑:Perplexity 的 Orchestrator 想当模型界的‘总机’

2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。

开发工作流产品发布模型动态
一名开发者坐在双显示器工位前敲键盘,左屏是深色代码编辑器,右屏是带绿色对勾与柱状图的测试仪表盘,桌上有台灯和马克杯
资讯
你的智能体到底变好还是变坏了:AWS 开源 UAEF,给所有框架的智能体用同一把尺子量

2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。

开发工作流产品发布测试与质量