CASE 01 / CUSTOMER OPERATIONS
售后辅助工作台
“不想退款”,
为什么被当成了退款?
从一次明确否定的误判开始,修订售后路由,并检验增加模型检查步骤是否有用。
- 项目类型
- 个人课程延伸项目
- 工作内容
- 意图边界、对照实验、复核
- 当前阶段
- 原型与离线验证
- 数据范围
- 合成业务数据
32/32规则诊断通过旧版 25/32 · 定向合成集
22/32两版提示各自通过64 次真实模型调用
人来确认建议与执行分开不直接触发退款
关键词出现了,不代表用户想做这件事。
“我不想退款,只查A1001物流。”旧规则命中“退款”,进入退款进度查询。单个关键词识别正确,整个任务却选错了。
这也是客服辅助工具的一个典型设计问题:用户经常会否定、补充或转述。系统既要识别意图,也要保持订单归属与执行权限的边界。
先修复明确错误,再比较模型方案。
规则只修有限范围
先核验订单归属,再处理明确否定片段。32个定向场景中,旧规则25/32,修订后32/32;另保留旧42场景回归。复杂反讽与转述仍待扩展。
模型使用相同任务契约
固定模型、事实和32个问题,只比较直接回答与增加内部检查步骤。两组都要返回动作、事实和引用,避免用更弱基线制造收益。
页面提供查询与复核建议,不直接触发退款。输出有明确澄清、拒绝或人工接管状态,复核也需要对照当时的事实快照。
人机协同设计每一步都有明确的责任人
01
用户输入
“不想退款,只查物流”
02
AI 理解
识别意图,保留否定
03
规则核验
订单归属与事实引用
04
人工复核
确认建议或接管
AI 产品决策日志 查看选项、取舍与证据
| 决策点 | 选项 A | 选项 B | 选择 | 原因 | 证据 |
|---|---|---|---|---|---|
| 意图识别 | 纯模型路由 | 规则与模型分工 | 选择分工方案 | 事实与权限由确定性规则控制。 | 32 个定向场景 |
| 提示策略 | 完整契约直接回答 | 增加内部检查 | 保留直接回答 | 两组通过数与失败编号相同,本轮未见额外收益。 | 各 22/32;保留原始记录 |
| 退款请求 | 直接执行 | 转人工处理 | 保留人工决策 | 未经授权的自然语言不能触发业务动作。 | 退款与越权演示场景 |
同一句话,看看路由怎么变化。
选择一条诉求,对照旧规则和修订后的处理结果。以下结果由本地规则生成并保存,页面不调用模型。
01接收诉求
02核对事实
03给出建议
04人工复核
售后工作台规则结果回放
演示账号Alice;可访问A1001、A1002、A1003。
建议处理等待选择
先核对订单与诉求事实与引用随结果一起展示。
选择场景后,系统会显示事实核对与下一步。
查看事实与引用
尚未选择
多一步检查,这次没有带来更多通过。
两种提示各执行32次真实调用,严格契约通过数都是22/32,未通过编号也相同。本轮没有证据支持增加提示复杂度,因此保留简单方案,先处理错误类型与标签边界。
| 失败类型 | 观察 | 下一步 |
|---|---|---|
| 上下文不足 | “那它呢”没有前序意图 | 补对话历史或调整标签 |
| 多订单 | 两个对象只返回一个 | 增加多对象路由检查 |
| 动作边界 | clarify与unknown混淆 | 重写定义与标注示例 |
| 字段缺失 | 拒绝正确,但reason为空 | 区分契约错误与事实泄露 |
每条件只采样一次;32题为同源合成场景,没有独立盲评。同分不证明方案完全等价。事后剔除有争议的N18,两组仍均22/31,原始32题结果保留。
查看逐例模型记录
模型原文与逐项检查
把反馈留下来,也给反馈设一道复核。
本地原型支持修改结构化答案、填写原因和人工审批。批准前核对本次事实快照,只有已批准的样本可以导出;这些候选样本还需要独立语义复核与去重,才能用于训练。
下一步更重要的工作是观察真实客服任务,与已有搜索或FAQ工具比较完整处理时间,再决定是否引入检索、更多模型或更复杂的流程。
继续阅读运营查数助手