AI 产品作品集PRODUCT CASEBOOK / 2027
← 所有项目
CASE 01 / CUSTOMER OPERATIONS

售后辅助工作台

“不想退款”,
为什么被当成了退款?

从一次明确否定的误判开始,修订售后路由,并检验增加模型检查步骤是否有用。

项目类型
个人课程延伸项目
工作内容
意图边界、对照实验、复核
当前阶段
原型与离线验证
数据范围
合成业务数据
32/32规则诊断通过旧版 25/32 · 定向合成集
22/32两版提示各自通过64 次真实模型调用
人来确认建议与执行分开不直接触发退款

关键词出现了,不代表用户想做这件事。

“我不想退款,只查A1001物流。”旧规则命中“退款”,进入退款进度查询。单个关键词识别正确,整个任务却选错了。

这也是客服辅助工具的一个典型设计问题:用户经常会否定、补充或转述。系统既要识别意图,也要保持订单归属与执行权限的边界。

先修复明确错误,再比较模型方案。

规则只修有限范围

先核验订单归属,再处理明确否定片段。32个定向场景中,旧规则25/32,修订后32/32;另保留旧42场景回归。复杂反讽与转述仍待扩展。

模型使用相同任务契约

固定模型、事实和32个问题,只比较直接回答与增加内部检查步骤。两组都要返回动作、事实和引用,避免用更弱基线制造收益。

页面提供查询与复核建议,不直接触发退款。输出有明确澄清、拒绝或人工接管状态,复核也需要对照当时的事实快照。

人机协同设计每一步都有明确的责任人
01

用户输入

“不想退款,只查物流”

02

AI 理解

识别意图,保留否定

03

规则核验

订单归属与事实引用

04

人工复核

确认建议或接管

AI 产品决策日志 查看选项、取舍与证据
决策点选项 A选项 B选择原因证据
意图识别纯模型路由规则与模型分工选择分工方案事实与权限由确定性规则控制。32 个定向场景
提示策略完整契约直接回答增加内部检查保留直接回答两组通过数与失败编号相同,本轮未见额外收益。各 22/32;保留原始记录
退款请求直接执行转人工处理保留人工决策未经授权的自然语言不能触发业务动作。退款与越权演示场景

同一句话,看看路由怎么变化。

选择一条诉求,对照旧规则和修订后的处理结果。以下结果由本地规则生成并保存,页面不调用模型。

01接收诉求
02核对事实
03给出建议
04人工复核
售后工作台规则结果回放

演示账号Alice;可访问A1001、A1002、A1003。

建议处理等待选择
先核对订单与诉求事实与引用随结果一起展示。
选择场景后,系统会显示事实核对与下一步。
查看事实与引用
尚未选择

多一步检查,这次没有带来更多通过。

两种提示各执行32次真实调用,严格契约通过数都是22/32,未通过编号也相同。本轮没有证据支持增加提示复杂度,因此保留简单方案,先处理错误类型与标签边界。

完整契约直接回答
22/32
增加内部检查
22/32
失败类型观察下一步
上下文不足“那它呢”没有前序意图补对话历史或调整标签
多订单两个对象只返回一个增加多对象路由检查
动作边界clarify与unknown混淆重写定义与标注示例
字段缺失拒绝正确,但reason为空区分契约错误与事实泄露

每条件只采样一次;32题为同源合成场景,没有独立盲评。同分不证明方案完全等价。事后剔除有争议的N18,两组仍均22/31,原始32题结果保留。

查看逐例模型记录
模型原文与逐项检查

把反馈留下来,也给反馈设一道复核。

本地原型支持修改结构化答案、填写原因和人工审批。批准前核对本次事实快照,只有已批准的样本可以导出;这些候选样本还需要独立语义复核与去重,才能用于训练。

下一步更重要的工作是观察真实客服任务,与已有搜索或FAQ工具比较完整处理时间,再决定是否引入检索、更多模型或更复杂的流程。

继续阅读运营查数助手