你的智能体到底变好还是变坏了:AWS 开源 UAEF,给所有框架的智能体用同一把尺子量
2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。

一句话:智能体越造越多,但没人说得清它到底变好还是变坏了
2026 年 11 月 11 日,AWS 在机器学习博客上开源了 UAEF,全名 Universal Agent Evaluation Framework,通用智能体评估框架。它解决的问题很具体:你换了一个提示词、换了一个模型、加了一个工具,智能体到底变好了还是变坏了?今天大多数团队答不上来,不是因为没有测试,而是因为每次换框架,评估工具就得重做一遍,分数和分数之间没法比。
UAEF 的做法是:不管智能体是用 LangGraph、LangChain、Strands Agents 还是 Bedrock AgentCore 造的,先把它的运行记录翻译成同一种格式,再用同一套 36 个指标、7 个维度打分,分数存下来,拿来和上一版对比,差多少、差在哪,一目了然。代码按 Apache 2.0 开源,在 awslabs/uaef 仓库里。
这篇文章讲清楚五件事:问题到底出在哪,UAEF 的“同一把尺子”是怎么造出来的,36 个指标都量什么,它怎么防止评审模型被智能体“忽悠”,以及对正在造应用的人来说,现在能不能直接拿来用。
问题出在哪:每个框架各记各的账
今天造智能体,框架不止一种。LangGraph、LangChain、Strands Agents、Bedrock AgentCore,各有各的写法,也各有各的记账方式:消息怎么记、工具调用怎么记、智能体之间怎么交接,格式都不一样。评估工具往往跟着框架走:指标、打分逻辑、结果存储,都是对着某一种记录格式写的。换一个框架,或者同时跑两个框架,评估就得重做。
这样一来,一个最基本的问题变得很难回答:改了提示词、模型或工具之后,智能体是进步了还是退步了?回答它需要两样东西:同一套指标,对比不同版本的智能体;一份过去结果的存档,拿来当基线。缺了任何一样,迭代就只能凭感觉。AWS 在博客里还补了一句:智能体的好坏也不是一个准确率数字能说清的,工具调用、回答质量、负责任 AI、性能、多轮对话、多智能体协作、推理能力,七个方面都可能出问题,单看一个分数会漏掉很多事。
按博客的说法,在正式发布之前,已经有 12 家电信、医疗、金融行业的组织用 UAEF 评估过自己的智能体,并在发布前拿它对比过不同版本。这个数字是厂商自己的说法,没有第三方名单佐证,但它说明 UAEF 不是刚写出来的演示代码,而是先在真实团队手里跑过一段时间才开源的。
UAEF 的做法:先统一成一种笔迹,再打分
UAEF 的核心是一个很简单的分工:先统一格式,再打分,两个步骤分开。适配器负责第一步:读智能体某次运行的记录——消息、工具调用、智能体之间的交接——把它转成一种统一的格式,叫 AgentTrace。之后的所有步骤,指标、打分、对比、报告,都只认 AgentTrace,不认原来的框架格式。所以不管智能体是哪个框架造的,分数都在同一把尺子上量。
适配器现在覆盖 LangGraph、LangChain、Strands Agents、Bedrock AgentCore 和 Langfuse,再加一个通用 JSON 适配器,别的框架可以用自定义结构接进来。运行记录有两种来源:已经有的记录,从日志或观测系统里直接拿过来;或者让 UAEF 自己去跑——给它一个运行时 ARN 或 HTTP 端点,它会按数据集逐条调用智能体、收回答、顺手转成 AgentTrace。
一次评估的流程是条闭环:适配器统一格式,接着在存下来之前先扫一遍个人身份信息(邮箱、电话、信用卡号这类),然后评估引擎打分,结果作为一次实验存进 DynamoDB 和 S3——DynamoDB 存每条实验的元数据,用来列清单和对比,S3 存完整的评估结果。最后生成报告,告诉你这一版改了什么、哪里变了,你再改提示词、模型或工具,重新评估。官方博客里把这条线画成了一张图,标题就叫“闭环数据流”。
七个维度三十六个指标:一把尺子量七件事
评估引擎的 36 个内置指标分在 7 个维度里,每个指标的分数都在 0 到 1 之间,1 分最好,维度和总分共用同一刻度。七个维度各自盯着一种毛病。工具调用看智能体有没有选对工具、按合理的顺序调、有没有传对参数;回答质量看最终答案是不是相关、完整、准确、有没有脱离给定的上下文胡编;负责任 AI 看安全性、偏见、毒性和对提示注入的抵抗;性能看延迟、token 用量和吞吐这些运行成本;多轮对话看智能体能不能在一场对话里保持上下文、连贯性和目标完成度;多智能体看协作系统里的任务分配和分工;推理看思维链内部的逻辑是不是自洽、有没有谬误。
指标分两种。确定性指标直接从运行记录和标准答案算出来,重复跑多少次结果都一样,比如工具调用和性能。评审模型指标处理那些没法用公式定义的质量,比如回答的相关性或安全性,做法是拿一个 Bedrock 上的评审模型去打分。除了内置的 36 个,你也可以自己加指标,或者接 RAGAS 和 DeepEval 的集成。
一个实际的细节:标准答案是可选的。只有那些要和参考答案比对的指标才需要它;工具调用的评估则需要标准答案里还写明“应该调哪些工具、按什么顺序、传什么参数”。没有标准答案的数据集也能评,没有参考答案的指标会自动跳过。所以拿线上真实流量来评,不用先把每条流量都标好答案,也能开始。
最值得细看的一节:评审模型本身也会被骗
整篇博客最值得细读的不是指标清单,而是讲评审模型的那几段。问题是这样的:评审模型要读智能体的输出,再给它打分;如果智能体能影响评审模型,它就能给自己刷分。AWS 的处理分了四层:评分标准和待评内容分开发送,内容先转义,不让它从定界符里“逃出来”被当成指令读;评审模型的回答要严格解析,必须引用一段待评内容里的原文作为证据;找不到证据的分数不记录,直接扔掉。
更重要的是最后一句:评审分数只是评估信号,不是安全结论,不能用来决定安全控制。运行时的强制执行要走另一条路,在智能体自己的调用链里挂 Bedrock Guardrails。完整的防护模型写在仓库的 SECURITY.md 里。这句话的潜台词很清楚:分数可以告诉你智能体哪里弱,但不能由它来决定“放不放行”。很多团队把评估分数直接接进发布门禁,UAEF 的作者等于提前写了一句警告:别这么干。
这也是本篇和“给智能体打分”这个话题的旧文章最大的区别。打分本身不难,难的是让分数可信。UAEF 把防刷分写进了设计里,而不是事后补一句“请注意评审可能有偏见”。
回归怎么算:差 5% 就亮灯
分数存下来之后,UAEF 做的第二件事是对比。每次评估可以存成一次实验,实验里再分“运行”,每次运行记下智能体的设计:框架、模型、工具、系统提示词、参数,还可以记一份配置快照和 Git 提交号。你可以把某次运行标成基线,分数就和产生它的那次改动绑在了一起:是提示词变了,还是模型换了,还是多了一个工具。
对比的算法很直白:对两个运行共有的每个指标,算绝对变化和百分比变化,再按一个默认 5% 的阈值分成退化、改进或不变。退化还要分严重程度:5% 到 10% 是轻微,10% 到 20% 是中等,超过 20% 是严重。回归按维度分组,这样一眼就能看出来:这次提示词改动伤的是工具调用,还是回答质量。网页界面里有个对比页,选两个以上的实验,第一个当基线,逐个指标的分数、退化与改进都会标出来,用的和 Python 库里同一套对比引擎,结果不会两边不一致。
报告分三层,回答三个不同的问题。结果视图讲“这次跑得怎么样”:总分、跑了多少条测试、用的什么框架、哪些查询没跑起来,每个指标的平均分配一张雷达图和一张条形图,每条测试的查询、回答、预期答案和分数都列成表。多轮对话会按轮次展开,每轮的分数和调过的工具都看得到。统计报告讲“分数为什么是这样”:按维度和指标拆开,给置信区间、异常值、分数分布、指标之间的相关性、负责任 AI 汇总和失败的测试用例,最后给出建议,指向分数最低的维度和波动最大的指标。这份报告只根据分数算,不经过大模型,同样结果每次算出来都一样。第三层是模型生成的洞察:把报告交给 Bedrock 上的模型分析,讲优势、关键弱点、可能的原因和优先做的改动;对比多轮运行时,还会讲总体趋势、每次退化与改进的可能原因、每处退化的风险和下一步。
两种用法与真实代价
UAEF 有两种用法,跑的是同一套引擎,写的是同一批存储。用 Python 库可以在笔记本、脚本和 CI/CD 流水线里直接评;部署成 AWS 服务可以用低代码的网页界面评:上传数据集、选框架和指标、跑评估、看分数。从界面开始、之后转到代码,分数和存储方式都不会变。
但“开源”不等于“零成本”。用之前要看清三笔账。第一,运行环境要 Python 3.10 以上和 uv 包管理器;评审模型和持久化存储要 AWS 凭证——评审走 Bedrock,结果存 DynamoDB 和 S3。第二,存下来的东西要自己收拾:实验元数据的表默认叫 uaef-experiments,结果桶默认叫 uaef-results;如果你部署了服务再拆掉,DynamoDB 表、S3 桶和 Cognito 用户池会按保留策略留下来,里面的内容和存储费用都还在,得自己手动删。第三,仓库目前还是早期版本:发行的是 0.2.0 的轮子,截至 11 月 13 日还没有打过正式的发布标签。这三点里,前两点是官方博客自己写的,第三点来自第三方在 11 月 13 日的核查。
还有一句官方的提醒值得单独拎出来:UAEF 是“参考架构”,设计上假定它跑在一个已经做好了用户和租户隔离的平台里。直接拿它做多租户部署、而宿主平台又没有做隔离,是不支持的。个人项目和团队内部用没问题,要对外提供服务,得先把隔离这层补上。
给造应用的人:先从场景选指标,别 36 个全跑
官方博客里有一份“playbook”,意思很直白:先看场景,再挑指标。一个订票智能体和一个政策问答智能体的失败方式不一样,两个都拿全套 36 个指标跑一遍,既浪费时间,也浪费 Bedrock 的调用次数。博客的表格按场景列了起步指标:检索问答、通用问答、用工具的智能体、多轮对话、推理、安全合规、多智能体、生产监控,各有各的起步清单。选好之后,把指标名传给 evaluate() 或 batch_evaluate() 的 metrics 参数就行。
数据集也比想象中轻:CSV 或 XLSX 文件,每行一条测试用例,唯一必填的是 Question 一列。Answer、context、expected_tool_calls(写成 JSON 数组)、session_id、turn_id 都是可选的。多轮对话用 session_id 把同一场对话的行分到一组,用 turn_id 排序。拿真实流量做数据集之前,官方建议先用 uaef.security.PIIDetector 扫一遍,把个人身份信息检测并脱敏了再分享或存下来。
流水线还有六个独立的选择,博客把它做成了一张表:已有记录还是需要现跑、调一条还是跑一批、单轮还是多轮、单个还是多个智能体、离线测试还是线上监控、临时看一眼还是存下来以后对比。只有存下来的运行才能参与对比,这一点在选的时候就要想清楚。
从零跑起来:一个数据集,一行 evaluate
用 UAEF 跑第一次评估,比想象中轻。准备一个 CSV 或 XLSX 文件,每行一条测试用例,唯一必填的是 Question 一列;Answer、context、expected_tool_calls、session_id、turn_id 全是可选的。然后在代码里调 evaluate() 评一条记录,或者 batch_evaluate() 批量跑整个数据集,metrics 参数里写上你挑好的指标名。想留下来以后对比,就在调用时加 persist=True 和一个实验名,结果就进了 DynamoDB 和 S3。
官方仓库里给每个支持的框架都配了可以直接跑的笔记本:LangGraph、LangChain、Strands Agents、Bedrock AgentCore、Langfuse 各一份,通用 JSON 适配器一份,RAGAS 和 DeepEval 集成一份,实验管理、报告流水线、个人身份信息检测也各有一份。照着笔记本跑一遍,基本就摸清了 UAEF 的用法。线上监控也有现成的入口:OnlineEvaluator 可以对着实时对话逐条打分,离线测试和线上监控用的是同一套引擎,分数口径不会两边不一致。
对个人开发者来说,最实际的起步方式是:先拿一个你已经在用的智能体,挑三到五个指标,跑一批你手头已有的真实对话记录。连标准答案都不用准备——没有标准答案的指标会自动跳过,先看到工具调用和性能这些确定性指标的分数,再决定要不要补标准答案、要不要开评审模型。评估这件事,最难的永远是第一次;UAEF 把第一次的门槛压到了一个数据集加一行调用。
与本站已发内容的划界
“给智能体打分”在本站不是新话题,边界必须划清。10 月 19 日的微软 Scope 篇报道的是微软开源的评估工具,锚点是“给智能体出一套卷子”,测的是智能体在 DevAx 场景下的产品体验能不能重复实验。本篇的锚点不一样:UAEF 的核心是跨框架的记录归一化——先把不同框架的运行记录翻成同一种格式,再用同一套指标打分,最后盯着版本之间的回归。Scope 讲的是“怎么考”,UAEF 讲的是“不同班的学生用同一张卷子、分数还能跨版本比”。
另外两篇是写给读者的实战指南,不是新闻:一篇讲给 AI Agent 搭评估基准,一篇讲 vibe 项目的 Evals 评测体系,教的都是“没有评估、每次换模型都是在赌”这套方法论。本篇是 11 月 11 日一次具体的开源发布,讲的是 AWS 交出来的这套工具本身长什么样、能做什么、有什么限制。指南教你怎么搭评估,新闻告诉你市面上多了一套现成的评估工具,两者读法不一样,也不会互相替代。读完本篇再回头看那两篇指南,正好能拿 UAEF 当一回现成的练手对象。
评论 (0)
原始来源
相关文章
2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。
2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。
2026 年 11 月 10 日,Amp 推出 Boxes:每月 18 美元起的常开小电脑,专门部署你用智能体造出来的软件。每个 box 自带 runner,智能体能直接在上面改生产数据;同一周 Amp 还上线了 Spaces、告别了 Dial、登陆了 Windows——智能体的工作场,正在从笔记本搬到云端。