别让 AI 一本正经地胡说八道：vibe 产品的幻觉 UX 防护实战

想象这个场景：你用 vibe coding 做了个带 AI 问答的 app，周末熬夜调样式、配域名、发朋友圈，周一就有几百个用户涌进来。周二，有个用户在评论区贴了张截图——你的 AI 一本正经地告诉他："本店周末营业到晚上十点"，而你的店周六下午三点就关门了。用户白跑一趟，回来给了你一条一星差评："AI 骗人。"

这条差评最扎心的地方在于：它说得没错。你当然知道大模型会幻觉，但用户不会怪模型，他只会卸载你的 app。幻觉不是技术 bug，它在用户侧的形态叫信任事故。

这篇指南的立场很明确：幻觉消灭不了，但它的杀伤力可以被设计出来的。同一个幻觉，裸奔式地展示和带护栏地展示，对用户信任的伤害差了一个数量级。防护的关键不在模型侧（你调不动的），而在 UX 侧（你完全调得动的）。下面 8 节，是一个 vibe 开发者能直接抄作业的防护体系。

一、先看懂你在防什么：幻觉的三种用户伤害

别把幻觉当成一个技术名词，它在用户面前有三种具体长相，每种的伤害机制都不一样，防护手段也不一样。分不清类型就做不好防护，就像分不清感冒和流感就开不好药。

伤害 1：错误事实——编出来的"事实"

模型把不存在的营业时间、价格、政策、电话号码编得跟真的一样。这是最常见的翻车，也是 vibe 产品最容易踩的坑，因为 vibe 产品往往对接了真实的业务信息（门店、价格、规则），而这些信息恰恰不在模型的训练数据里。

真实案例：2024 年，Air Canada 的聊天机器人向乘客编造了一个根本不存在的"亲人去世票价"（bereavement fare）政策，乘客信以为真买了票。航空公司试图辩解"机器人是独立的第三方"，法庭不买账，判决 Air Canada 赔偿。现在这事被所有做客服机器人的团队当成反面教材：你的机器人说的话，法律上就是你说的话。

伤害公式：错误事实 × 用户采取了行动 = 直接损失。用户只是看看，损失是信任；用户按它说的做了，损失是真金白银和法律责任。

伤害 2：编造引用——看起来最可信的谎言

引用是学术和专业场景里信任的货币，而模型恰恰最擅长伪造货币。它会编造判例编号、论文标题、报告链接，格式完美，内容全假。

真实案例：2023 年，美国律师 Steven Schwartz 在 Mata v. Avianca 一案中提交了 ChatGPT 编造的判例，法官查证后发现那些判例根本不存在，律师被罚款并公开训诫。另一个更近的：2025 年初，苹果的 Apple Intelligence 通知摘要功能把 BBC 的新闻"总结"成了根本没发生过的事情，BBC 直接投诉，苹果被迫暂停该功能。

编造引用的恶毒之处在于：它劫持了用户的验证习惯。用户看到"参见《xx 判例》第 3 卷"会下意识觉得"有出处，应该靠谱"，反而跳过了验证。没有引用，用户会警惕；有假引用，用户连警惕都省了。

伤害 3：自信误导——语气越肯定，伤害越大

前两种是内容问题，这一种是表达问题。模型天生是个"自信的讲述者"，它对"我不知道"这件事极其吝啬。医疗建议、理财建议、法律建议被用"我建议你……""肯定没问题"这种语气说出来，用户照做的概率直线上升。

2023 年 Google 发布 Bard 的演示里，Bard 自信地答错了一个天文问题，Alphabet 市值当天蒸发上千亿美元。市值蒸发是股民的反应，真正该记住的是：用户对 AI 的信任度，取决于语气，而不是内容。同一个答案，加上"可能"两个字，用户的行动意愿会大幅下降——这正是 UX 防护的杠杆点。

记住这句判断伤害的话：呈现的可信度 × 内容的行动化程度 = 幻觉的杀伤力。防护体系的目标，就是把这两个乘数都压下来。

顺带说一句 vibe 产品的特殊性：传统大厂的 AI 功能有法务、有评测团队、有灰度，你都没有。你的 app 可能是用户第一次认真使用的 AI 产品——他对你的信任阈值更低，翻车一次就走，而且他会把截图发到社交平台上。大厂的幻觉是公关事件，你的幻觉是生存事件。所以别觉得"我的小产品没人较真"，恰恰相反，小产品的每一次幻觉都在裸泳。

二、置信度展示：三档 UI 模式，别显示百分比

先说一个反直觉的结论：不要把置信度显示成数字。"本回答置信度 87%"看起来很科学，但那个数字本身就是模型编的——你用一个幻觉去标注另一个幻觉。用户也看不懂 87% 和 72% 的区别，这种伪精确只会增加困惑。

实战中有效的是三档制：高 / 中 / 低。档位越少，用户决策越快。三档对应的 UI 规范如下：

• 高置信（绿色，无打扰）：正常展示答案，不需要额外的警告。条件：答案来自你自己的知识库检索且命中片段高度相关，或模型连续两次独立生成一致。注意：高置信不等于"保证正确"，只是"我们有依据"。免责声明可以缩到最小。
• 中置信（黄色，提醒核实）：答案旁出现一条温和提示："该回答由 AI 生成，建议核实关键信息。"不要用红色，红色意味着"危险"，会把用户吓跑；黄色意味着"注意"，正好对应"可以参考但别全信"的心态。这是大多数 AI 回答应该待的档位。
• 低置信（灰色，主动降级）：整个回答卡片变灰、字号略小，开头就写"AI 不太确定"，并把"纠正"按钮放到最显眼的位置。低置信回答的目标不是被阅读，而是被纠正。

关键细节：置信度要逐断言打，不要整篇一刀切。一个回答里"今天是周五"是高置信，"退货政策是 30 天"是低置信，整篇标一个"中置信"等于没标。工程上可以用规则先做粗筛：凡是包含数字、日期、人名、地名、URL 的断言，默认降一档——这些恰恰是幻觉重灾区。

置信度从哪来？一人开发者不需要搞复杂的校准模型，三路信号就够了：

1. 检索命中：有 RAG 的话，检索片段的相似度分数是最诚实的信号。无命中或低分命中 → 直接低置信。
2. 自检一致性：同一个问题让模型答两次（temperature > 0），关键断言不一致 → 降档。这招成本翻倍，只用在高风险场景。
3. 规则降档：上面说的数字/日期/专有名词规则，外加"模型说了'我记得''根据我的知识'"这类话术时自动降档——模型越强调自己记得，越可能在编。

落地代码，一个 React 置信度徽章组件，30 行就能用：

type Confidence = 'high' | 'medium' | 'low';

const CONFIDENCE_UI: Record<Confidence, { label: string; className: string; note: string }> = {
  high:   { label: '已核验来源', className: 'badge-green',  note: '' },
  medium: { label: 'AI 生成 · 建议核实', className: 'badge-yellow', note: '关键信息请以官方渠道为准' },
  low:    { label: 'AI 不确定', className: 'badge-gray',   note: '该回答可信度较低，欢迎纠正' },
};

export function ConfidenceBadge({ level }: { level: Confidence }) {
  const ui = CONFIDENCE_UI[level];
  return (
    <span className={`confidence-badge ${ui.className}`} title={ui.note}>
      {ui.label}
    </span>
  );
}

// 后端打分：规则先行，简单可解释
function scoreClaim(claim: string, retrievalHits: number): Confidence {
  if (/\d{4}年|\d+元|https?:\/\/|先生|女士|有限公司/.test(claim)) return 'low'; // 数字/专名默认降档
  if (retrievalHits === 0) return 'low';
  if (retrievalHits < 3) return 'medium';
  return 'medium'; // 默认中置信：宁可保守，不可冒进
}

注意最后一行：默认档位应该是"中"，而不是"高"。高置信是挣来的（有检索、有验证），不是默认的。很多产品的错误恰恰在于默认一切都是高置信，直到翻车才加警告。

还有一个展示时机的讲究：别把三个档位做得同样显眼。高置信徽章可以小到只有 hover 才显示全文；中置信常驻一条黄线；低置信才值得占用视觉焦点。防护 UI 的设计原则是"按风险分配注意力"——风险越高的状态，越要抢用户的眼睛。反过来，给每个回答都挂个大红警告，等于狼来了，用户三天后就视而不见了。

三、引用标注：每条关键断言可溯源

置信度解决的是"可信程度"，引用解决的是"可验证性"。一个断言如果用户点两下就能验证原文，它就算幻觉了，伤害也有限——用户自己会发现。但前提是：引用必须是真的。

先立一条铁律：只有可点击、可打开、内容对得上的才算引用。模型随手编的 "[1] 某某报告" 不叫引用，叫装饰。装饰性的引用比没有引用更危险（见第一节的编造引用），所以引用系统必须带校验。

引用组件的数据结构

别把引用当成字符串拼在正文里，把它做成结构化数据。每个关键断言是一个 Claim，挂着它的引用列表：

interface Citation {
  id: string;          // 引用编号 c1, c2...
  label: string;       // 显示名："退货政策页"
  url: string;         // 必须可访问
  quote: string;       // 原文摘句，≤60 字
  verifiedAt: string;  // 上次校验可达的时间
}

interface Claim {
  id: string;
  text: string;                 // 断言原文
  confidence: 'high'|'medium'|'low';
  citations: Citation[];        // 关键断言至少 1 个
}

// 落地规则：入库前校验每条引用的 URL 真的可达
async function verifyCitations(claim: Claim): Promise<Claim> {
  const checked = await Promise.all(claim.citations.map(async (c) => {
    try {
      const r = await fetch(c.url, { method: 'HEAD', signal: AbortSignal.timeout(5000) });
      return { ...c, verifiedAt: r.ok ? new Date().toISOString() : '' };
    } catch { return { ...c, verifiedAt: '' }; }
  }));
  const alive = checked.filter(c => c.verifiedAt);
  // 引用全挂 → 断言自动降为低置信，而不是悄悄去掉引用
  return { ...claim, citations: alive, confidence: alive.length ? claim.confidence : 'low' };
}

最后两行是整段代码的灵魂：引用失效时，正确动作是降级断言，而不是隐藏引用。悄悄去掉引用等于把"有依据的断言"偷换成"没依据的断言"，用户无从察觉。

两种 UI 模式，按场景选

• 行内上标模式（适合问答、客服）："退货政策是 30 天[1]"，点击上标弹出引用卡（标题 + 摘句 + 跳转链接）。优点是不打断阅读，缺点是移动端小屏幕上标难点的——上标点击热区至少 32px。
• 侧边引用栏模式（适合长回答、研究报告）："依据"单独一栏，每条断言编号对应一条引用。优点是可审计，缺点是占空间。适合桌面端的管理后台、学习类产品。

还有一条容易被忽略的规则：引用要标"新鲜度"。政策、价格、版本信息会过期，一条 2023 年的引用在 2026 年可能就是新的幻觉来源。引用卡上加一行小字"来源更新于 2024-03"，过期引用自动标黄。这对 vibe 产品特别重要，因为你的知识库很可能是上线时一次性灌进去的，之后没人维护。

四、"草稿而非答案"：措辞与视觉降级策略

这是成本最低、见效最快的一招，核心就一句话：别让 AI 的输出长得像"标准答案"。用户对"答案"和"草稿"是两种完全不同的使用姿势：答案是拿来用的，草稿是拿来改的。你要的，就是把用户的姿势从"用"掰成"改"。

Draft Badge 规范

每个 AI 生成的内容块，左上角挂一个徽章。规范三条：

1. 文案用人话：写"AI 草稿，请核实"，别写"本回答由人工智能生成，仅供参考"。前者是行动指令（去核实），后者是免责废话（用户看完啥也不做）。
2. 样式要"未完成感"：虚线边框、浅灰底、斜体小字。视觉语言在告诉用户"这东西还没定稿"。千万别用烫金渐变大徽章——越华丽的包装，用户越当真。
3. 位置在内容之前：徽章必须出现在用户读到内容之前。放在回答末尾的徽章，用户读完才看到，等于没放。

免责声明位置学

免责声明有三处位置，效果天差地别：

• 页面底部（最差）：没人看。等于没有，还占地方。
• 输入框下方（中等）："AI 可能犯错，请核实重要信息"放在用户提问的地方，作用是事前设预期。适合通用对话产品。
• 用户行动之前（最好）：当 AI 的回答包含可行动的建议（打电话、付款、吃药、签合同），在"行动按钮"旁边再出现一次针对性提示："以上为 AI 建议，操作前请与官方确认。"这是 Air Canada 案的直接教训——免责声明要长在用户掏钱的那一刻，而不是页脚。

措辞黑白名单

在 system prompt 里直接约束措辞，比事后在 UI 上打补丁更治本。给模型一份措辞规范：

• 禁用："肯定""保证""毫无疑问""官方确认"——模型没有资格替你做保证。
• 慎用："根据我的知识"（幻觉高发前摇，出现即降置信度）。
• 推荐："可能""建议""一种常见的做法是"——把陈述句换成建议句，把"是什么"换成"可以试试"。

反模式警告：别用模态框弹窗做免责声明。用户会闭着眼睛点"知道了"，点三次之后连看都不看。弹窗免责是法务的安慰剂，不是用户的护栏。

五、一键纠错闭环：让用户的每一次纠正都算数

前面四节都是"防守"，这一节是"反击"。幻觉消灭不了，但每一次被用户指出的幻觉，都是一次免费的标注数据。做纠错闭环的产品，幻觉率会随时间下降；不做的，三年后还在犯同样的错。

但这里有个残酷的前提：纠错入口如果没人处理，不如不做。用户花 30 秒给你纠错，石沉大海，他下次不会再纠正——他会直接走人。所以上这个功能之前，先问自己：我每周能不能腾出 1 小时处理纠错？不能的话，先别上。

反馈组件：三秒可完成的纠错

纠错表单每多一个字段，完成率掉一半。最小可用形态：每个 AI 回答右下角两个按钮——"有帮助 / 纠正"，点"纠正"弹出一个输入框，只问两件事：

export function CorrectionBox({ claimId, onSubmit}: { claimId: string; onSubmit: (c: Correction) => void}) {
const [text, setText] = useState('');
return (
<form onSubmit={(e) => { e.preventDefault(); onSubmit({ claimId, text, at: new Date().toISOString()}); setText('');}}>
<p>哪里说错了？一句话就行。</p>
<textarea value={text} onChange={(e) => setText(e.target.value)}
placeholder="例：退货期是 7 天不是 30 天，官网链接…" rows={3} required />
<button type="submit">提交纠正</button>
<p className="hint">感谢！纠正经确认后会用于改进回答。</p>
</form>
);
}

interface Correction { claimId: string; text: string; at: string;}

细节：提交后给用户一个明确的回执（"已收到，感谢纠正"），而不是悄无声息。用户需要知道他的 30 秒没有白费。

纠错回流：few-shot 模板

收到纠正后，最轻量的回流方式不是微调模型，而是把"纠正对"做成 few-shot 示例，拼进相关场景的 prompt。模板如下：

CORRECTION_PROMPT = """
你是客服助手。以下是一条已被人工确认的纠正，请在今后同类问题中遵守：


用户问：你们的退货政策是什么？
AI 答：支持 30 天无理由退货。[1]


正确回答：支持 7 天无理由退货，定制商品不支持退货。[1]
纠正说明：退货期是 7 天不是 30 天；定制商品除外。
生效日期：2026-10-01

规则：
1. 遇到退货政策问题，优先使用纠正后的版本；
2. 不要复述错误示例中的 30 天；
3. 若用户追问细节，引用官网退货页链接。
"""

工程建议：纠正库按主题分桶（退货 / 价格 / 营业时间……），每次回答前按主题检索，把相关的纠正示例动态拼进 prompt。一人开发者用 SQLite + 向量字段就能跑，不需要上向量数据库。

度量：盯着"纠错率"而不是"幻觉率"

幻觉率很难精确测量（需要大量人工标注），但纠错率 = 被纠正的回答数 / 总回答数是现成的。它不完美——沉默的大多数不会纠错——但它是一个免费的、实时的、方向正确的指标。纠错率连续两周上升，说明某个知识变了（比如你改了退货政策但知识库没更新），去查；纠错率长期下降，说明闭环在起作用。

六、高风险场景熔断：医疗、法律、财务三类红线

前面讲的都是"软防护"，这一节是"硬熔断"。有些场景下，幻觉的代价不是差评，是吃错药、签错合同、亏掉本金。对这些场景，UX 策略要从"降级展示"切换成"拒绝或转人工"。

先给一张风险分级检查表，vibe 产品上线前逐行过一遍：

场景	风险等级	熔断动作
医疗诊断、用药建议	极高	拒绝直接回答，转"信息检索模式"：只给权威来源链接 + 强制提示"请咨询医生"；绝不给出具体药名和剂量
法律条文解读、合同审查	极高	回答前置声明"非法律意见"；涉及具体案件 → 转人工律师入口，不给结论
投资建议、个股推荐	极高	拒绝个股推荐；只做公开信息整理，且每条数据带来源和时间戳
客服：价格、政策、营业时间	高	必须走 RAG 命中知识库，无命中 → 明确说"查不到，建议联系人工"，不许编
学习辅导、代码问答	中	三档置信度 + 引用标注即可；代码类回答建议用户先跑测试
闲聊、创意写作	低	一个通用免责声明足够；幻觉在这里甚至是"功能"

熔断的工程实现可以很简单：维护一个高风险关键词清单（"吃药""剂量""起诉""合同""买哪只股票"……），命中清单的问题自动路由到熔断流程。清单不需要完美，v1 有 50 个词就够，后面靠纠错闭环慢慢加。

人工复核门是极高风险场景的标配：AI 先出草稿，人工点"确认"后才发给用户。对一人开发者来说，这意味着你的后台需要一个"待审核回答"队列。别觉得这是倒退——医疗法律类产品里，"AI 起草 + 人确认"恰恰是目前最被认可的模式，也是监管最可能接受的模式。它还顺手解决了冷启动期的信任问题：早期用户量小，你全量审核都审得过来。

一句话总结这一节：风险等级决定 UX 形态。低风险场景谈体验，高风险场景谈责任。把医疗建议做成"自信满满的标准答案"样式，不是设计问题，是责任事故。

七、评测：幻觉率人工抽检 SOP

没有度量就没有改进。但 vibe 团队请不起标注团队，怎么办？答案是每周 30 条的人工抽检——少到可以坚持，多到足以发现趋势。这是性价比最高的评测方式。

抽样方法：分层 + 过采样

1. 从过去一周的 AI 回答日志里随机抽 30 条；
2. 高风险场景过采样：医疗/法律/财务/价格政策类至少占 10 条，哪怕它们在总量里只占 5%。幻觉的伤害不按数量平均，抽样也不该平均；
3. 每条由你（或一位朋友）逐条核验：断言是否正确？引用是否真实可达？置信度档位是否合理？
4. 双人抽查：每月抽一周做双人独立标注，对不上就讨论——这是校准你判断标准的过程。

每周 30 条抽样记录表

直接抄这张表，用在线表格或 Notion 都行：

编号	日期	用户问题（脱敏）	场景	断言是否正确	引用是否真实	置信度档位是否合理	问题类型	处理
001	10-07	退货政策是几天？	客服-政策	否（说了 30 天，实际 7 天）	链接 404	否（标了高置信）	错误事实+失效引用	已加入纠正库；引用校验加定时任务
002	10-07	这个药能和感冒药一起吃吗？	医疗	部分正确	无引用	否（应熔断未熔断）	高风险漏熔断	关键词清单加"一起吃"；转人工流程
003	10-08	帮我写个生日祝福	闲聊	是	不适用	是	—	—

"问题类型"列建议用固定枚举：错误事实 / 编造引用 / 失效引用 / 自信误导 / 高风险漏熔断 / 档位误标。枚举固定下来，几个月后你能画出趋势图：哪类问题在减少，哪类在增加。

警戒线：什么时候该回滚

抽检不是为了写报告，是为了触发动作。定两条硬线：

• 整体幻觉率 > 15%（30 条里超过 4-5 条有问题），下一版 prompt 或知识库更新前，先回滚到上一个抽检正常的版本；
• 高风险场景出现 1 条"漏熔断"（该拒绝没拒绝、该转人工没转），当天修，不等下周。

15% 这个数字是拍脑袋的吗？是。但拍脑袋的线比没有线强。先定一个，跑三个月再根据你的数据调。度量的第一目的是"开始度量"，第二才是"度量得准"。

抽检表还有一个长期价值：它是你和用户、和监管、和未来的自己对话的证据。当有人质疑"你们的 AI 靠谱吗"，你掏出的不应该是"我们用了最先进的模型"，而应该是"过去 12 周抽检 360 条，高风险场景零漏熔断，整体幻觉率从 18% 降到了 9%"。数据不会替你赢得信任，但没有数据，信任无从谈起。

八、上线前自查：8 项检查清单

最后，把整篇指南压缩成一张清单。发布带 AI 回答功能的新版本前，逐项打勾：

1. 默认置信度是"中"吗？检查代码里有没有把无依据的回答默认标成高置信。
2. 每个 AI 回答块都有 Draft Badge 吗？左上角、内容之前、虚线边框、"AI 草稿，请核实"。
3. 引用都能点开吗？跑一遍引用可达性校验，404 的引用要么修要么降级断言。
4. 数字/日期/专有名词自动降档了吗？规则正则是否生效，随手测三条。
5. 高风险关键词清单接上了吗？搜"吃药""起诉""买股票"，看是否正确熔断。
6. 纠错入口有人处理吗？指定每周 1 小时的处理人（就是你），并在后台能看到待处理队列。
7. 免责声明长在行动按钮旁边吗？而不是只在页脚。
8. 抽检表建好了吗？这周的 30 条什么时候抽，谁来标，写进日历。

8 项里，前 4 项是一个周末能做完的（徽章组件 + 规则降档 + 引用校验 + 默认中置信），后 4 项是流程（关键词清单、纠错值班、声明位置、抽检日历）。建议顺序：先做前 4 项让产品"看起来诚实"，再做后 4 项让它"持续诚实"。

最后回到开头的核心论点：幻觉消灭不了，但"一本正经地胡说八道"是可以被设计掉的。用户真正愤怒的从来不是"AI 答错了"，而是"它错得那么自信，而我居然信了"。你的工作，就是别让用户陷入那种处境——用三档置信度说清楚把握多大，用真实引用给用户验证的抓手，用草稿姿态降低行动冲动，用熔断守住高风险红线，用纠错闭环让每一次翻车都算数。

信任像银行账户：每次幻觉是取款，每次诚实的"不确定"是存款。vibe 产品的 AI 功能能不能活下来，不取决于模型有多强，取决于这个账户是正是负。从这个周末开始，先存第一笔吧。

附带一句给 vibe 同行的提醒：防护体系别想着一次做到满分。先让产品"看起来诚实"（徽章、降档、措辞），用户会给你时间把"持续诚实"（纠错、抽检、熔断）补上。但顺序反过来不行——一个从不承认不确定的 AI，第一次翻车就是最后一次机会。