返回探索
指南VibeFix 内容整理更新于 2026年11月13日

别再让模型把同一句话算十遍:vibe 项目的 LLM 输出缓存实战

LLM 输出缓存是把模型算过的答案存下来,下次遇到一样或意思一样的问题直接拿存好的答案,不再重新生成。这篇讲什么时候值得缓存、精确缓存与语义缓存、缓存键设计、命中率与成本测算、失效与隐私红线、多模型策略,示例产品与数字均为虚构。

Claude 平台文档 Prompt caching 页面截图:标题“Prompt caching”,介绍用 cache_control 缓存提示词前缀、5 分钟或 1 小时 TTL,正文讲自动缓存与显式断点。

一个 vibe 项目接上大模型之后,最烧钱的往往不是最难的问题,而是重复的问题。用户今天问“怎么给简历加一段实习经历”,明天换个说法又问一遍;学习小组里十个人轮流问同一道题的解法,模型要把同一段话生成十次。每一次生成都要花 token、等几秒,账单和等待时间就这样一点点涨上去。LLM 输出缓存就是把模型已经算过的答案先存下来,下次遇到一样或者意思一样的问题,直接把存好的答案拿出来,不再重新算一遍。

下面用的例子全部是虚构的:产品叫“青柠助手”,是一个给学习小组用的 AI 问答小助手;人物“阿南”是它的独立开发者。所有请求次数、命中率和省下的费用都是为了讲清楚方法而编的示例,不是真实产品的运营数据。先划清分工:浏览器缓存、HTTP 缓存头、CDN 与服务端通用缓存,是本站《缓存实战》讲的事;模型按 token 计价、怎么选模型、怎么压低单次调用成本,是本站《LLM 推理成本工程》讲的事。本篇只讲 LLM 输出层这一件事:答案算出来之后存不存、怎么存、什么时候不能存、存坏了怎么收场,不讲通用 HTTP 与 CDN 缓存,也不讲模型计价本身。

Claude 平台文档 Prompt caching 页面截图:标题“Prompt caching”,介绍用 cache_control 缓存提示词前缀、5 分钟或 1 小时 TTL,正文讲自动缓存与显式断点。

一、什么时候值得缓存:先看重复,再看代价

缓存不是接上模型第一天就该做的事。先让产品跑两周,把请求日志翻出来看三件事:第一,同样的问题出现过几次;第二,每次回答要花多少 token、等几秒;第三,回答错一次的代价有多大。青柠助手跑了两周才发现,学习小组里最常问的二十个问题占了全部请求的四成,每次回答平均要花八百多个 token、等两秒多,而这些问题的答案几乎不变——这就是值得缓存的信号。反过来,如果每个问题都只问一次,缓存建好了也命中不了,等于是白白多了一套系统要维护。

值不值得,还要看答案变不变。考试大纲、课程表、小组规则这类答案,写好之后几个月都不变,缓存起来最划算;新闻、股价、正在进行中的比赛比分这类答案,几分钟就过时,缓存它就是在发过期答案。还有一类答案看着稳定、其实暗藏变化:比如“今年考研数学大纲变了吗”,大纲没变之前答案是对的,大纲一变,缓存里的旧答案就成了误导。判断标准很简单:答案的有效期有多长,缓存就能活多久;有效期说不清楚的问题,先不要缓存。

第三个要看的是出错的代价。学习方法、解题思路这类回答,就算缓存的版本旧了一点,用户多半能看出来、再追问一句;但涉及报名截止日期、考试时间、缴费方式的回答,错一次就可能耽误正事。这类高风险答案要么不缓存,要么缓存时间设得极短、到期立刻重算。缓存的第一条纪律是:省下的钱要大于背错答案的风险,否则不如每次都重新问模型。

二、精确缓存与语义缓存:先做便宜的,再做聪明的

LLM 输出缓存有两种做法,先分清楚。精确缓存只认一模一样的问题:用户输入的文字逐字相同,才算命中。它的好处是简单、可靠、不会认错:存的时候用什么问题取,取的时候就用什么问题查,答案一定是当初模型给的那一个。青柠助手的第一版缓存就是精确缓存,只做了一件事——把问题原文做一次规范化,去掉多余空格、统一大小写、去掉结尾的问号和“请问”这类客套词,规范化之后完全相同的问题才命中。这一版上线第一周,就接住了三成多的重复提问。

语义缓存认的是意思一样、说法不一样的问题。“怎么提高英语阅读速度”和“英语阅读太慢了怎么办”,字不一样,意思一样,语义缓存会把它们算成同一个问题。做法是把问题转成向量,算一算新问题和已存问题的相似度,超过阈值就认为是同一个问题、直接返回存好的答案。好处是命中率更高,坏处是会认错:意思接近但答案不同的问题,比如“考研数学怎么复习”和“考研英语怎么复习”,相似度很高,答案却完全不同,认错一次就等于答非所问。

顺序不要反:先上精确缓存,跑顺了再考虑语义缓存。精确缓存没有认错的风险,出了问题也好查——命中记录里写清楚是哪个问题命中的,错了就删那一条。语义缓存要多三样东西才敢上:一个相似度阈值、一个认错之后的纠错入口、一段试运行期。阈值不要拍脑袋定,先拿两周的真实提问跑一遍,看看阈值定在多少时,认错的比例可以接受;纠错入口要放在答案旁边,用户点一下“这个答案不对”,这条缓存就作废;试运行期只对一小部分用户开,确认认错率够低再全量。很多小项目精确缓存就够用了,语义缓存是命中率上不去之后才需要的那一步。

三、缓存键设计:把问题、模型和版本写进同一把钥匙里

缓存的钥匙叫缓存键,设计错了,缓存就会张冠李戴。最容易犯的错是只拿问题当钥匙:同一个问题,今天用便宜的小模型答和明天用大模型答,答案质量不一样;同一个问题,回答语言是中文还是英文,答案也不一样;同一个问题,提示词里带的背景资料换了,答案更不一样。钥匙里必须把这些都写进去:规范化之后的问题、模型名字、提示词模板的版本号、回答语言。四个拼在一起,才是一把不会开错门的钥匙。

钥匙里还要写进“答案是给谁的”吗?这要分情况。学习小组的公开知识问答,答案人人一样,钥匙里不用写用户;但“根据我的错题本给我出三道题”这种问题,答案是按人定制的,钥匙里必须带上用户标识,否则张三的错题答案会发给李四。更保险的做法是:凡是答案里带了用户个人数据的,一律不进公共缓存,只进该用户自己的缓存,或者干脆不缓存。钥匙设计的第一原则是:宁可多存几份、命中率低一点,也不要让一个人拿到另一个人的答案。

钥匙还要能删、能查、能过期。每一把钥匙都要看得懂:打开缓存列表,看到钥匙就知道它对应的是哪个问题、哪个模型、哪个提示词版本。调试的时候,拿到一个错误答案,要能反查到它是哪把钥匙、什么时候存的、还剩多久过期。钥匙里不要放原始用户输入的全文,尤其是不要放用户原样输入的敏感内容——钥匙本身也会被记进日志,敏感内容一旦进了钥匙,就等于进了日志。做法是:钥匙用规范化问题的哈希值,而不是原文;哈希不可逆,日志里只剩一串看不懂的字符。

四、命中率与成本测算:拿一组虚构数字算一遍账

缓存做得好不好,有两个数说了算:命中率和省下的钱。命中率是缓存接住的请求占全部请求的比例,省下的钱是命中那部分请求如果重新问模型要花多少钱。青柠助手用一组虚构数字算过这笔账:一个月里一万次请求,精确缓存命中了三千八百次,语义缓存又接住了两千四百次,剩下的三千八百次才真正去问模型。命中率就是六千二百除以一万,百分之六十二。每次模型调用平均花一角二分钱,六千二百次命中省下的就是七百四十四元。这组数字是编的示例,用来说明算账的方法,不是真实运营数据。

算账的时候,别只算省下的 token 钱,还要算缓存本身的成本。向量数据库、缓存服务器、相似度计算,每一样都要花钱、都要有人维护。如果一个月省下七百多元,缓存服务本身一个月花掉六百元,净省就只剩一百多元,再算上维护的时间,可能还不如不做。青柠助手的判断线是:缓存的全部成本不超过省下费用的三成,才值得继续做;超过这个数,就先收紧缓存范围,只缓存最常问的那二十个问题,而不是什么都缓存。

命中率也不是越高越好。命中率冲到九成以上,往往意味着阈值放得太松、认错开始变多,或者缓存时间设得太长、过期答案开始流通。青柠助手每周看一次命中率和纠错率:命中率稳在五到七成、用户点“答案不对”的比例不到百分之二,就是健康的状态;命中率突然往上跳,先查是不是阈值被谁改松了;纠错率往上走,就把阈值收紧一点、把可疑的缓存条目清掉。数字是拿来管缓存的,不是拿来炫耀的。

五、失效策略:答案过期了,要比用户先知道

缓存最危险的时刻不是建好的那一天,而是答案悄悄过期之后。失效策略就是给每一条缓存定一个死期:到了时间,不管有没有人问,旧答案作废,下次再问就重新算。死期怎么定,看答案的保质期:小组规则、学习方法这类稳定的答案,可以活三十天;课程安排、考试时间这类会变的答案,活七天;报名、缴费这类随时可能变的消息,最多活一天,重要的只活几小时。死期宁可定短一点,也不要让用户拿到过期答案。

光靠死期还不够,还要有主动失效。课程表一换、大纲一改、规则一变,就要立刻把相关的缓存清掉,而不是等它们自然过期。做法是给缓存打标签:每条缓存记下来它回答的是哪类问题、依据的是哪份资料;资料一更新,所有贴着这份资料标签的缓存一次性作废。青柠助手的做法是:管理员改一次课程表,系统就自动清掉所有带“课程表”标签的缓存,用户下次再问,拿到的就是按新课表算出来的答案。

失效还要留一条后路:缓存删了之后,下一次请求要重新问模型,模型如果正好出问题、超时或者报错,用户就会看到一片空白。稳妥的做法是:删缓存之前先重新算好新答案、确认没问题再替换;替换失败了,宁可继续用旧答案顶一会儿,并在答案下面加一句“这份答案是几天前的,请以最新通知为准”,也不要直接让用户看到报错。失效策略的目标不是让缓存永远新鲜,而是让过期答案永远先被系统发现,而不是先被用户发现。

六、隐私红线:这五种 prompt,绝不进缓存

缓存最大的风险不在技术,在隐私。模型回答一旦进了缓存,就可能被另一个人取走;缓存的钥匙和日志一旦记下来,就可能被不该看的人看到。所以有些 prompt 从一开始就不该进缓存,这是红线,不是优化项。第一种,带姓名、手机号、身份证号、地址的 prompt;第二种,带成绩、错题、学习记录等个人数据的 prompt;第三种,用户原样粘贴的私人文档、日记、聊天记录;第四种,涉及健康、财务、家庭情况的提问;第五种,管理员后台操作里带了内部数据的问题。这五种,不管重复多少次、省多少钱,都不缓存。

红线要靠机制守,不能靠自觉。青柠助手的做法有三层:第一层是入口过滤,请求进缓存之前先过一遍规则,命中敏感词、手机号格式、身份证号格式的,直接跳过缓存;第二层是分桶存放,公共问题进公共缓存,带用户标识的问题只进该用户自己的缓存,两个桶物理分开、永不混用;第三层是定期清理,缓存里定期扫一遍,发现疑似敏感内容就删掉并记一条日志。任何一层发现可疑内容,默认动作都是不缓存,而不是先缓存了再说。

还有两件事容易被忽略。第一,缓存服务本身要设访问权限,只有应用服务器能读写,开发者的笔记本、测试环境都不能直连生产缓存;第二,缓存的备份和日志也要按敏感数据来管,备份里不能躺着用户的私人提问,日志里不能出现用户的原文。缓存省的是模型的钱,漏的是用户的信任,这笔账一旦算错,省下的几百元远远不够赔。

七、多模型下的缓存策略:一个缓存池,还是各存各的

产品只用一个模型的时候,缓存很简单;一旦同时用两个以上的模型,问题就来了:便宜模型答过的题,大模型还要不要重新答?大模型答过的答案,能不能给用便宜模型的用户看?青柠助手的答案是:缓存池可以共用,但钥匙里必须写明模型,答案上必须标明出处。同一个问题,小模型和大模型的答案存在不同的钥匙下面,互不干扰;用户问的时候,先按他当前用的模型去查,查到了就用,查不到再去问模型。便宜模型的答案绝不冒充大模型的答案发出去,答案下面写清楚是哪个模型给的,用户自己判断够不够用。

模型升级的时候,缓存要跟着动。新模型上线,旧模型攒下的缓存不能直接沿用——新模型的回答方式、详略程度都可能不一样,旧答案直接发出去,用户会觉得“怎么换了个模型,答案反而变差了”。做法是:模型版本写进钥匙里,模型一升级,旧钥匙自然失效;上线第一周,只让新模型跑精确缓存,等确认新答案的质量没问题,再慢慢放开语义缓存。模型降级的时候也一样:从大模型切回小模型,缓存要分开算,不能拿着大模型的答案去充小模型的数。

多模型还有一个省钱的窍门:先查缓存,再选模型。用户的问题先进缓存查一圈,命中了直接返回;没命中,再按问题的难度选模型——简单问题走便宜模型,难题走大模型。顺序不要反:先选模型再查缓存,等于每个模型各查一次,命中率被白白拆散了。缓存是跨模型的共享层,模型是缓存后面的执行层,这个分工想清楚了,多模型的账才算得明白。

八、落地验收清单:从请求到省钱的完整链路

把前面七节串起来,一次请求走的是同一条链路:先进缓存查一圈,命中了直接返回,没命中才去问模型,模型答完之后、符合条件的答案再写进缓存,定期失效和隐私过滤在两头守着。用前面那组虚构数字衡量这条链路:一个月一万次请求,精确缓存命中三千八百次,语义缓存接住两千四百次,剩下的三千八百次真正去问模型,命中率百分之六十二,每次调用一角二分钱,一个月省下约七百四十四元。这组数字是编的示例,用来说明链路的每一环都在省:精确缓存接住原样重复的,语义缓存接住换个说法的,剩下的才是必须花钱的。

请求链路:从提问到省钱,一个月 10000 次请求里 6200 次命中缓存,每月省约 744 元

上线之前,有一份很短的检查清单,值得逐条打勾。第一,先跑两周再决定:重复问题占不到两成、答案有效期说不清楚的问题,先不要缓存。第二,精确缓存先行,语义缓存后上,阈值用真实提问跑过、纠错入口放在答案旁边。第三,缓存键里写进规范化问题、模型名、提示词模板版本和回答语言,带用户数据的答案只进个人缓存,钥匙用哈希、不用原文。第四,每条缓存都有死期,按答案保质期定,资料一更新就主动清掉相关标签的缓存,替换失败时宁可用旧答案顶一会儿、加一句提醒,也不要让用户看到空白。第五,五种敏感 prompt 绝不进缓存,入口过滤、公共与个人分桶、定期清理三层都到位,缓存的访问权限、备份与日志按敏感数据来管。第六,多模型共用一个缓存池、钥匙里写明模型,模型升级时旧缓存自然失效,先查缓存、再按难度选模型。第七,每周看一次命中率和纠错率,命中率稳在五到七成、纠错率不到百分之二才算健康,缓存的全部成本不超过省下费用的三成。做完这七条,LLM 输出缓存才算真正上线,而不是给产品多挂了一个迟早要背锅的黑盒子。

阅读 6评论 0

评论 (0)

ME
0/1000
评论加载中...
浏览项目广场发布你的项目

相关文章

真实照片:一名女子站在办公室白墙前,把彩色便利贴按行贴在墙上,手里还拿着一张粉色便利贴
指南
别再用 margin 硬凑间距了:Flexbox 一维布局实战指南

Flexbox 一次只排一个方向,排对了,导航栏、卡片墙、购物车行都听话。本文按 MDN 的《Basic concepts of flexbox》《Aligning items in a flex container》《Controlling ratios of flex items along the main axis》三篇官方文档讲清楚:两根轴、容器与项目、方向与换行、剩余空间、flex 三件套、两根轴上的对齐、间距与自动边距。

开发工作流前端工程AI 编程实践
真实照片:俯拍一双手在深色桌面上整理写了字的索引卡片,旁边是夹着表格的写字板
指南
数据先装进盒子再说话:对象与 JSON 实战指南

一张点单就是一个对象:桌号、菜品、总价、付没付钱,全按标签收在一起。本文按 MDN 的《Working with objects》《JSON》《Object》三篇官方文档讲清楚:对象字面量、点号与方括号、增删改查、for...in 配 hasOwn、方法与 this、getter 与 setter、引用与复制、Object.assign 等工具箱、空白原型对象、JSON 的严规矩,以及 stringify 与 parse 和数字精度的坑。

开发工作流前端工程AI 编程实践
一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态