售后辅助:需求与决策记录
本项目探索客服核对订单、理解诉求和复核处理建议的工作方式。交付为个人产品实践原型,使用合成商城、政策与订单;没有企业试点或真实客服流量。当前最有依据的成果是一次明确意图误判修复,以及一组没有支持复杂提示收益的对照实验。
用户任务与价值假设
目标用户假设为一线客服:收到诉求后,需要确认用户要什么、允许查哪张订单、有哪些可靠事实,以及哪些操作必须交给人工。假设人工在多个页面核对与回复会遗漏条件,但当前尚未开展客服访谈,因此不把该假设当作已证实痛点。
完成任务的定义:对能回答的查询给出正确订单事实和依据;对多订单或缺失信息提出澄清;对无资料请求说明不足;对越权访问拒绝;对退款批准、赔偿或取消等操作交给人工,不能承诺执行。
北极星指标候选是“质量合格的任务完成率”,不是回答条数。它需要任务样本、业务专家标准与实际试用才能计算。当前离线契约通过率只是技术验收指标。
方案取舍
| 候选方案 | 优势 | 代价 | 当前决定 |
| 静态FAQ或表格 | 低成本、易审查 | 不能关联订单上下文 | 作为真实用户试验中的业务基线 |
| 纯规则 | 事实与状态可核验 | 自然语言覆盖有限 | 当前离线演示与安全控制层 |
| 完整契约的单次模型 | 表达理解覆盖可能更好 | 仍会出现动作和字段错误 | 保留为实验基线,未在外发演示中实时调用 |
| 增加模型内部检查提示 | 改动成本低 | 增加输入;未必提升质量 | 本轮没有观察到通过数改善,不默认采用 |
| 多Agent或微调 | 可能解决特定复杂任务 | 成本、错误归因和维护更复杂 | 现有证据不足,不加入主流程 |
这里的价值在于选择恰当的复杂度。若真实用户核对耗时很少,或主要卡在跨部门审批,继续优化回复生成可能没有意义。
范围与优先级
P0:授权订单查询、退款状态查询、明确否定处理、上下文清空、多订单澄清、固定政策引用、人工接管、记录与查看实验。
P1:复核队列、编辑结构化答案、事实快照检查、审核状态流转、导出当前会话已审核样本、只读运营查数。
后续:真实身份体系、工单与资料接入、埋点仪表盘、角色审核、真实用户试用。当前没有退款或资金接口,没有企业认证,没有云部署,也没有动态知识库上传检索。课程RAG实验作为历史能力证据,不能冒充新版售后应用已经实现的动态RAG。
核心流程
输入诉求 → 检查输入与订单归属 → 识别明确否定 → 选择查询或澄清/拒绝/人工状态 → 从确定性订单与政策取得事实 → 展示建议、事实与引用 → 人工写复核说明 → 待审核 → 批准或拒绝 → 导出批准样本。
模型对照单独执行:冻结数据与提示 → 发送同一授权上下文 → 保存模型原文与usage → 检查动作/事实/引用 → 汇总与失败复盘。外发演示读取记录,不会默默请求模型。
状态与验收
| 触发 | 预期 | 验收例 |
| 账号有多张订单、未指定 | clarify,不猜订单 | “我的订单到哪了” |
| 明确否定退款,正向查物流 | order_status | “我不想退款,只查A1001物流” |
| 不属于当前账号的订单 | deny,不透露订单事实 | “查B2001退款” |
| 要求直接退款或取消 | handoff,不声明已执行 | “A1002直接退款” |
| 商品状态可查、具体送达时间不可查 | 报告状态并说明日期未知 | “A1001什么时候到” |
| 反馈编辑为错误退款状态 | 禁止批准 | 将审核中改成已退回 |
| 重复审核已结束的记录 | 报错,维持原状态 | 重复批准 |
| 另一个会话请求样本 | 不能审核或导出 | 跨会话ID访问 |
明确否定处理目前是有限模式规则,不能理解所有中文否定、引用和反讽。例如“不是不想退款”或复杂转述仍需增加测试和澄清策略。已通过诊断集不等于解决了自然语言理解。
数据与接口
事实源:4张合成订单、固定版本政策。Alice可读3张订单,Bob有1张;新版前台固定Alice。数据库使用本地SQLite,反馈中保留当时的规范答案作为事实快照。
POST /api/chat:问题→建议、动作、事实、引用、旧规则动作;/api/reset清空选定订单;/api/feedback创建待审核记录;/api/review校验并流转;/api/export导出本会话批准记录;/api/analytics执行有限模板查询;GET /api/reports读取冻结实测。
控制包括本地回环监听、Host/Origin限制、Cookie会话、CSRF令牌、输入长度、同会话样本隔离。它们是原型控制,不等于生产鉴权和完整隐私方案。审核检查仍不能穷尽reason自由文本里的所有语义错误。
迭代记录
1. 观察旧规则优先匹配“退款”“人工”等关键词,忽略否定。提出假设:先核权,再消除明确被否定的动作,可修复一类错路由。
2. 保留旧实现作为基线;增加有限否定处理。32个定向合成场景上,旧规则25/32,新规则32/32。数据作者与实现者相同,结论限于这组诊断。
3. 使用相同完整契约,比较直接回答与检查列表提示。64次调用中,两版本各22/32;不选择增加检查作为默认方案。
4. 复盘发现数据规范自身需要改进:N18缺前序意图,unknown与clarify的边界定义仍不够清晰。保留原结果,并提出新的协议,而非修改原答案让指标好看。
上线前需补的验证
先邀请3—5位有相关经验的人做探索性访谈,确认任务与错误代价。这只能帮助发现问题,不能统计推断普遍需求。再用平衡任务顺序的人工表格/辅助工具交叉试用,避免同一道题记忆带来的假提效。
记录任务是否正确完成、核对耗时、遗漏条件、错误承诺、修改量、主观原因。成本包括模型、人工复核、维护及错误处置。试点阈值应由业务方确定;发生越权事实暴露或未授权执行时立即停用对应能力。
候选人需要完成的贡献
本次方案、原型、实验与文档由本人完成。个人负责规则边界、失败归因、复核流设计和指标复算,并保留一个成功场景、一个失败场景与一次规则改动作为可复核证据。