亚马逊把 Sonnet 4.6 换下去了:40 亿参数的小模型接手工单分类,成本降了 98%
2026 年 11 月 9 日,亚马逊工程师在官方博客上披露:内部工单系统把 Claude Sonnet 4.6 换成了 Strands Decider E4B,分类质量一样好,单张成本从 0.0222 美元降到约 0.0005 美元。但 98% 这个数字有边界,博客也没公布准确率。

2026 年 11 月 9 日,亚马逊的两位工程师 Carr 和 Mehul 在 Strands Agents 的官方博客上讲了一个很实在的故事:他们把公司内部一套工单分类系统里的大语言模型换掉了。原来负责给工单打标签的是 Claude Sonnet 4.6,一个前沿大模型;接替它的是 Strands Decider,一个只有 40 亿参数的决策模型(decision model),连一句话都写不出来。结果是:分类质量“一样好”,单张工单的成本从 0.0222 美元降到了大约 0.0005 美元,降幅 98%;每次调用的平均耗时从 4215 毫秒降到 897 毫秒,快了 78%。按两位工程师的说法,这次替换一年能省下“数百万美元”的 token 费用。
这个故事值得认真读,不是因为 98% 这个数字有多吓人,而是因为它讲清楚了一件很多团队正在含糊其辞的事:并不是所有交给大模型的工作,都需要大模型来干。给工单打标签,本质上是在 20 个固定类别里做选择题,而不是写文章。亚马逊的团队发现,当任务本身就是“从一张已知清单里挑一个”的时候,一个只会做选择题的小模型,不仅更便宜、更快,而且在他们的对比测试里表现得比 Sonnet 4.6 还要好。这篇博客的价值不在结论,而在过程:它把换模型前后的每一步、每一张数字表、每一次踩坑都摊开了,包括一个让人意外的坑——JSON 键的顺序居然能让输出概率漂移 0.19。
原来那套系统是怎么跑的
先说背景。这套内部工单系统是亚马逊内部规模最大的系统之一,每天要处理的工单包括客户升级(customer escalations)、容量申请、自动化告警、安全发现,以及公司里其他各种需要归类的事项,一共 20 个类别。原来的做法是:一个智能体(agent)拿到每张工单,带着一段很长的系统提示词去调 Claude Sonnet 4.6,让模型生成一段 JSON,里面包含标签和推理过程。Sonnet 4.6 在这里是一个“刚刚好”的选择——博客的原话是,它在智能和成本之间取得了平衡,而且一个已经跑了 9 个月的模型能扛住这么大的量,本身就说明它干得不错。
但“干得不错”和“非它不可”是两回事。两位工程师的判断是:工单分类这个任务,从头到尾就没用到大模型最擅长的本事——生成文本。它不需要模型写解释、不需要模型推理出新内容,只需要模型在 20 个已知选项里挑一个。于是他们看上了 Strands Decider:一个决策模型。决策模型和大语言模型的区别,用一句话就能说清:给它一个状态(state)、一个问题和一组选项,它返回每个选项的概率,外加一个置信度分数;它不会生成自由文本。在这个场景里,状态就是工单本身,选项就是那 20 个标签。任务和模型之间,严丝合缝。
替换分了两步。团队先试了最初的 Strands Decider 2B,在一组工单测试集上跑;然后发现基于 Gemma 4 的 E4B 版本效果明显更好,就换成了 E4B。换完之后,他们还调了一个关键参数:模型要达到多大的置信度,才可以直接给工单贴标签。最后的结果是,在另一组独立的工单上,E4B 的表现超过了正在生产环境里跑的 Sonnet 4.6。注意这里的措辞:博客说的是“超过”(beating),但没有公布具体的准确率数字。这是一个要记下来的缺口,后面还会讲到。
数字一张张拆开看
博客里最核心的是一张对比表,值得逐行读。先看时间:每次调用的平均耗时,Sonnet 4.6 是 4215 毫秒,Strands Decider E4B 是 897 毫秒,快了 78%。再看 token:每张工单,Sonnet 4.6 平均消耗 6554 个输入 token 和 170 个输出 token,总计 6724 个;E4B 只用 2009 个输入 token 和 1 个输出 token,总计 2010 个,少了 70%。输出 token 从 170 降到 1,是整张表里最说明问题的一行——原来模型要生成一段带推理过程的 JSON,现在它只输出一个选择,什么都不用多写。
Token 降下来之后,成本跟着降。按美国东部(us-east-1)已公布的按需价格算:Sonnet 4.6 走 Bedrock 的全球端点,输入每百万 token 3 美元、输出每百万 token 15 美元;E4B 跑在 SageMaker 的 ml.g5.xlarge 实例上(每台一块 A10G 显卡、24GB 显存),每小时 1.408 美元。按这个价格,单张工单的成本从 0.0222 美元降到大约 0.0005 美元;按一百万张工单算,从大约 22200 美元降到大约 500 美元。博客算了一笔细账:E4B 每次请求大约 640 毫秒,一台实例每小时能处理大约 5600 张工单,满负荷跑的话每百万张只要 250 美元;留出应对突发流量的余量之后,实际大约是每百万张 500 美元。也就是大约便宜 44 倍,降幅 98%。
还有一个数字很容易被忽略:切换当天,Lambda 函数的平均执行时间下降了 74%。这是因为整个调用链都变短了——模型调用快了,Lambda 跑的时间也跟着下来了。博客还特意说明,这笔成本账用的是已公布的标价,而且没有计入 Lambda 的费用(Lambda 现在跑的时间也更短了,所以实际总成本只会更低,不会更高)。但反过来也要看到另一面:Decider 这边的成本取决于实例有多忙——实例空转的时候,每张工单分摊的成本会上升;“大约 500 美元”这个数字,是在留了突发余量的实际运行状态下算出来的,不是在满负荷的理想状态下算出来的。博客把这两档数字都写出来了,这个做法值得肯定。
Token 为什么能少 70%,博客给了两个原因。第一,输出从一段 JSON 变成了一个选择,输出 token 从 170 降到了 1。第二,提示词短得多。Sonnet 4.6 那边,生产环境的标签描述本身就很长,长到超过了 Decider 4096 个 token 的窗口——所以团队把 20 个标签各改写成一两句话的判定标准,再加一个“无”(none)选项,组成一道单选题发过去。长工单还有一个处理细节:为了塞进窗口,Decider 会丢掉最老的评论,只保留较新的内容。这个细节后面会成为一个值得留意的限制。
最值得抄走的不是模型,是那个三档开关
如果只看结论,这篇博客讲的是“小模型换掉大模型”。但如果看过程,最值得抄走的东西其实不是模型,而是一个三档开关。团队没有一上来就把 Sonnet 4.6 关掉,而是让工单标注的 Lambda 函数每次从 AWS AppConfig 里读一个三档设置:BEDROCK、DUAL、DECIDER。BEDROCK 档只调 Sonnet,不调 Decider;DUAL 档两个模型并行调用,Sonnet 的结果照常用在工单上,同时和 Decider 的结果逐条比对;DECIDER 档只调 Decider,不再调 Bedrock。团队先在 DUAL 档下让两个模型在真实流量上跑了一段时间,逐条核对分歧,确认没问题之后才切到 DECIDER。回滚只需要改一个配置,45 秒就能完成。
这个做法的价值,比 98% 这个数字本身更大。离线评测只能告诉你模型在测试集上的表现,而 DUAL 档跑的是真实流量、真实工单、真实分布——包括那些测试集里没有的边缘情况。两个模型意见不一致的地方,就是最值得人工去看的地方。很多团队换模型的时候,做法是先在测试集上比一比,觉得差不多就直接切过去;亚马逊这个团队的做法是,先让新模型在影子模式里跑真实流量,拿真实分歧做判断,再切过去。这个顺序本身,就是一篇值得单独写的方法论。
基础设施的细节也值得记下来,因为它们说明了“换个小模型”在工程上到底意味着什么。E4B 跑在 SageMaker 的 ml.g5.xlarge 实例上,每台一块 A10G、24GB 显存,模型本身占了大约 19GB;端点会随流量自动扩缩容,但网络是隔离的,不允许容器向外访问;SageMaker 在启动前从 S3 把模型权重拷进来。除了亚马逊自己的工单 API 之外,整条链路用的都是标准 AWS 服务:工单事件进 SQS 队列,触发 Lambda 函数,Lambda 调 SageMaker AI Endpoint 上的 Decider,AppConfig 存那个三档开关,CloudWatch 负责日志、指标和告警,整个栈用 CDK 定义,分 Beta、Gamma、Prod 三个部署阶段。换句话说,这不是一个只能在亚马逊内部跑的定制系统——除了工单 API 本身,任何一个用 AWS 的团队都能照着搭一套。
还有一个踩坑的细节,博客写得非常坦白:JSON 键的顺序会改变答案。团队发现,同样内容、只是键的顺序不同,输出概率最多能漂移 0.19。于是他们现在每次请求都按排好序的键发送。0.19 不是一个小数字——在一个返回概率的模型里,这足以让第一名和第二名换位。这个发现对任何想把决策模型接进 API 的团队都是一个提醒:在比对不同轮次的结果之前,先把请求格式固定下来,否则你以为在比较模型,其实是在比较序列化顺序。
98% 这个数字,要怎么读才不被骗
98% 很抓眼球,但读这篇博客最需要警惕的,就是被 98% 带着走。先把这个数字的边界划清楚。第一,它是按标价算出来的。Sonnet 那边用的是 Bedrock 已公布的按需价,Decider 那边用的是 SageMaker 实例的标价,两边都没有计入 Lambda 的费用,也没有计入亚马逊内部团队实际被收取的价格——大客户的实际折扣、预留实例的价格,都不在这张表里。第二,它是单张工单的平均成本,取决于实例的利用率。实例跑得越满,每张工单分摊的成本越低;流量低谷时实例空转,成本会上去。博客给出的“满负荷 250 美元”和“留余量 500 美元”两档,恰恰说明这个数字是跟着利用率走的,不是固定不变的。
第三,也是最重要的一点:博客没有公布准确率数字。它说 E4B 在独立的工单集上“超过了”生产环境的 Sonnet 4.6,说这次替换后分类质量“一样好”,但没有给出任何一方在测试集上的准确率、精确率或召回率。没有这些数字,读者就没法独立判断“一样好”到底是多好——是 99% 对 98%,还是 85% 对 84%?这个缺口不是吹毛求疵:分类质量是整个替换成立的前提,成本降 98% 的前提是质量没掉,而质量没掉的证据,目前只有作者自己的说法。博客的作者是建这个系统的人,他们的说法当然值得重视,但它不是第三方复核,也不是可复现的评测。
第四,“一年省下数百万美元”是一个预测,不是实测。博客没有公布工单的总量,所以读者没法从每张工单省 0.0217 美元反推一年的总额。这个预测的算法是透明的——单张省的钱乘以年工单量——但年工单量这个乘数没有公开,预测本身就没法验证。这不是说预测是错的,而是说它目前只是一个基于内部数据的展望,读的时候要把它当成展望来读。
第五,还有两个技术限制藏在细节里,值得单独拎出来。一个是 4096 个 token 的窗口:标签描述要改写成一两句话才能塞进去,长工单要丢掉最老的评论。这意味着 Decider 看到的工单是不完整的——如果关键信息恰好在最老的评论里,它是看不到的。另一个是决策模型本身的边界:它只能做选择,不能写解释。如果哪天业务要求工单标签附带一段解释,或者类别清单每周都在变,这套方案就不再适用。博客的作者自己也把这两条写进了“经验教训”里:这套做法成立,是因为任务是“从已知清单里做封闭选择”、量很大、旧路径的延迟确实是个问题;如果标签需要解释文本、清单每周变、或者有用的上下文塞不进几千个 token,决策模型大概替代不了大模型的工作。
这不是“小模型打败大模型”的故事
很容易把这篇博客读成一个“小模型打败大模型”的爽文,但那是对故事的误读。真正发生的不是一场对决,而是一次分工的纠正。Sonnet 4.6 没有变弱,它只是在干一件不需要它干的活:一个前沿大模型,被派去给工单打标签,还要为每个标签生成一段推理过程的 JSON——这就像请一位小说家来给邮件分拣。Decider 也没有“打败”谁,它只是恰好长成了这件活的样子:输入一张工单,输出一个选择,不多写一个字。成本降 98%,不是因为小模型更聪明,而是因为大模型之前在做的很多事——长提示词、170 个输出 token 的推理过程——对这件活来说本来就是多余的。
这个判断还有另一层意思:省钱的大头不在模型变小,而在输出变少。看那张对比表:输入 token 从 6554 降到 2009,省了 70%;输出 token 从 170 降到 1,省了 99% 以上。而输出 token 的单价是输入的 5 倍(15 美元对 3 美元)。也就是说,成本下降的最大头,来自于“不再让模型写它不需要写的东西”。这对所有在用大模型做分类、打标签、路由这类工作的团队都是一个提醒:先问问你的任务到底需不需要模型生成文本。如果答案是不需要,那么省钱的第一步不是换个更便宜的大模型,而是换个不生成文本的模型——或者至少,先把输出格式收紧,别让模型为每个选择都写一段小作文。
同一周里,Google 也发布了 Gemini Decisions API,同样是“只做判断、不写文章”的思路(本站 11 月 11 日已有报道)。两家大厂在同一周里往同一个方向走,说明“决策模型”正在从一个内部优化技巧,变成一个公开的产品类别。它的逻辑很简单:大模型时代的第一波红利,是让模型什么都能干;第二波,是把那些其实不需要生成能力的任务,从大模型手里拿回来,交给更小、更快、更便宜的专用模型。Strands Decider 的故事,就是第二波的一个具体样本。
如果你也在用大模型做分类,该抄什么
先说能直接抄的三样东西。第一,抄那个三档开关。BEDROCK、DUAL、DECIDER 的设计,是这篇博客里最具通用价值的部分:新模型先在影子模式里跑真实流量,和老模型逐条比对分歧,确认之后再切过去,回滚只要 45 秒。任何一次模型替换,不管大小,都值得用这个顺序走一遍——它比任何离线评测都更接近真实情况,而且出问题时能立刻退回去。
第二,抄成本账的算法。把输入 token、输出 token、单价、实例小时价、利用率这几项拆开算,而不是只看一个总数。亚马逊这篇博客的成本表之所以可信,不是因为它算出了 98%,而是因为它把每一项的来源都写清楚了:标价是多少、利用率是多少、满负荷和留余量各是多少、哪些没计入。照这个格式给自己的系统算一笔账,结论可能不是 98%,但至少会是诚实的。
第三,抄那个 JSON 键顺序的教训。在把决策模型接进 API 之前,先把请求格式固定下来——键排序、字段顺序、序列化方式——否则你比较的可能是格式,不是模型。这个坑的成本很低,提前避开只需要一行代码;掉进去之后再排查,花的就是几天时间。
再说三件抄之前要先想清楚的事。第一,你的任务是不是封闭选择。决策模型只在“选项已知且稳定”的时候成立:如果类别清单每周变、或者标签需要附带解释,它就不适用。第二,你的量够不够大。Decider 的成本优势来自实例小时价分摊到海量请求上;如果每天只有几百张工单,实例空转的成本可能比调大模型 API 还贵。第三,你能不能接受“看不到全文”。4096 个 token 的窗口意味着长工单要截断,关键信息可能在被丢掉的那部分里;如果你的工单经常很长、且关键信息经常在开头,这个方案要先做评估再决定。
最后回到那个 98%。它是一个真实的数字,也是一个有边界的数字:按标价算、单张工单、在留了突发余量的实际运行状态下、且以作者自己说的“质量一样好”为前提。把这些定语都带上,98% 依然是一个值得羡慕的成绩——但它不是一句“小模型全面取代大模型”的口号,而是一次具体任务上的具体胜利。对读者来说,这篇博客真正的价值不在 98%,而在它展示的工作方法:先看清任务的本质,再选对形状的模型;先在影子模式里验证,再切流量;先把账算清楚,再报数字。按这个顺序走,省不省 98% 另说,至少不会在换模型这件事上交学费。
评论 (0)
原始来源
相关文章
2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。
2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。
2026 年 11 月 20 日,Thinking Machines Lab 发布 Inkling 2 Mini:26.4B 参数的循环 Transformer,中间 12 层每 token 跑三遍,整机只有约 20GB,能在笔记本上离线跑。DeepSWE 48.2%、SWE-bench Verified 79.2%,在同体量开源模型里领跑——但知识短板和监控问题也写在官方博客里。