AI 产品作品集PRODUCT CASEBOOK / 2027
← 项目资料
PRODUCT NOTES / 2026.09

售后辅助:需求与决策记录

本项目探索客服核对订单、理解诉求和复核处理建议的工作方式。交付为个人产品实践原型,使用合成商城、政策与订单;没有企业试点或真实客服流量。当前最有依据的成果是一次明确意图误判修复,以及一组没有支持复杂提示收益的对照实验。

用户任务与价值假设

目标用户假设为一线客服:收到诉求后,需要确认用户要什么、允许查哪张订单、有哪些可靠事实,以及哪些操作必须交给人工。假设人工在多个页面核对与回复会遗漏条件,但当前尚未开展客服访谈,因此不把该假设当作已证实痛点。

完成任务的定义:对能回答的查询给出正确订单事实和依据;对多订单或缺失信息提出澄清;对无资料请求说明不足;对越权访问拒绝;对退款批准、赔偿或取消等操作交给人工,不能承诺执行。

北极星指标候选是“质量合格的任务完成率”,不是回答条数。它需要任务样本、业务专家标准与实际试用才能计算。当前离线契约通过率只是技术验收指标。

方案取舍

候选方案优势代价当前决定
静态FAQ或表格低成本、易审查不能关联订单上下文作为真实用户试验中的业务基线
纯规则事实与状态可核验自然语言覆盖有限当前离线演示与安全控制层
完整契约的单次模型表达理解覆盖可能更好仍会出现动作和字段错误保留为实验基线,未在外发演示中实时调用
增加模型内部检查提示改动成本低增加输入;未必提升质量本轮没有观察到通过数改善,不默认采用
多Agent或微调可能解决特定复杂任务成本、错误归因和维护更复杂现有证据不足,不加入主流程

这里的价值在于选择恰当的复杂度。若真实用户核对耗时很少,或主要卡在跨部门审批,继续优化回复生成可能没有意义。

范围与优先级

P0:授权订单查询、退款状态查询、明确否定处理、上下文清空、多订单澄清、固定政策引用、人工接管、记录与查看实验。

P1:复核队列、编辑结构化答案、事实快照检查、审核状态流转、导出当前会话已审核样本、只读运营查数。

后续:真实身份体系、工单与资料接入、埋点仪表盘、角色审核、真实用户试用。当前没有退款或资金接口,没有企业认证,没有云部署,也没有动态知识库上传检索。课程RAG实验作为历史能力证据,不能冒充新版售后应用已经实现的动态RAG。

核心流程

输入诉求 → 检查输入与订单归属 → 识别明确否定 → 选择查询或澄清/拒绝/人工状态 → 从确定性订单与政策取得事实 → 展示建议、事实与引用 → 人工写复核说明 → 待审核 → 批准或拒绝 → 导出批准样本。

模型对照单独执行:冻结数据与提示 → 发送同一授权上下文 → 保存模型原文与usage → 检查动作/事实/引用 → 汇总与失败复盘。外发演示读取记录,不会默默请求模型。

状态与验收

触发预期验收例
账号有多张订单、未指定clarify,不猜订单“我的订单到哪了”
明确否定退款,正向查物流order_status“我不想退款,只查A1001物流”
不属于当前账号的订单deny,不透露订单事实“查B2001退款”
要求直接退款或取消handoff,不声明已执行“A1002直接退款”
商品状态可查、具体送达时间不可查报告状态并说明日期未知“A1001什么时候到”
反馈编辑为错误退款状态禁止批准将审核中改成已退回
重复审核已结束的记录报错,维持原状态重复批准
另一个会话请求样本不能审核或导出跨会话ID访问

明确否定处理目前是有限模式规则,不能理解所有中文否定、引用和反讽。例如“不是不想退款”或复杂转述仍需增加测试和澄清策略。已通过诊断集不等于解决了自然语言理解。

数据与接口

事实源:4张合成订单、固定版本政策。Alice可读3张订单,Bob有1张;新版前台固定Alice。数据库使用本地SQLite,反馈中保留当时的规范答案作为事实快照。

POST /api/chat:问题→建议、动作、事实、引用、旧规则动作;/api/reset清空选定订单;/api/feedback创建待审核记录;/api/review校验并流转;/api/export导出本会话批准记录;/api/analytics执行有限模板查询;GET /api/reports读取冻结实测。

控制包括本地回环监听、Host/Origin限制、Cookie会话、CSRF令牌、输入长度、同会话样本隔离。它们是原型控制,不等于生产鉴权和完整隐私方案。审核检查仍不能穷尽reason自由文本里的所有语义错误。

迭代记录

1. 观察旧规则优先匹配“退款”“人工”等关键词,忽略否定。提出假设:先核权,再消除明确被否定的动作,可修复一类错路由。

2. 保留旧实现作为基线;增加有限否定处理。32个定向合成场景上,旧规则25/32,新规则32/32。数据作者与实现者相同,结论限于这组诊断。

3. 使用相同完整契约,比较直接回答与检查列表提示。64次调用中,两版本各22/32;不选择增加检查作为默认方案。

4. 复盘发现数据规范自身需要改进:N18缺前序意图,unknown与clarify的边界定义仍不够清晰。保留原结果,并提出新的协议,而非修改原答案让指标好看。

上线前需补的验证

先邀请3—5位有相关经验的人做探索性访谈,确认任务与错误代价。这只能帮助发现问题,不能统计推断普遍需求。再用平衡任务顺序的人工表格/辅助工具交叉试用,避免同一道题记忆带来的假提效。

记录任务是否正确完成、核对耗时、遗漏条件、错误承诺、修改量、主观原因。成本包括模型、人工复核、维护及错误处置。试点阈值应由业务方确定;发生越权事实暴露或未授权执行时立即停用对应能力。

候选人需要完成的贡献

本次方案、原型、实验与文档由本人完成。个人负责规则边界、失败归因、复核流设计和指标复算,并保留一个成功场景、一个失败场景与一次规则改动作为可复核证据。