AI 应用验收为什么不能只看准确率

准确率是验收中最容易被引用的指标，因为它好统计、好比较。问题在于它的口径弹性很大：测试集怎么选、判定标准怎么定、边界样本算不算错，都会影响最终数字。只看这一个数字，等于把验收的判断权交给了指标定义者。

准确率的口径要先统一

同一套系统，用不同的测试集可以得出差别明显的准确率。因此验收前需要先固定几件事。

测试集的来源要明确。是历史数据回放还是现场实测，数据的时间范围是什么，是否包含上线后新增的业务类型。这些条件不同，结果不具备可比性，也无法与 POC 阶段的数据对照。

判定标准要提前写清。模型给出多个可能答案时如何计分，部分正确如何计算，这类细节需要在验收前约定，而不是等结果出来再讨论。

边界样本的处理方式也要明确。完全正确与完全错误之间的中间状态如何认定，往往是最容易产生分歧的地方。把这些定义写进验收材料，可以减少后期争议。

稳定与可维护同样影响可用性

准确率达标但系统不稳定，实际使用效果仍然有限。因此验收需要覆盖运行层面的表现。

稳定性指标可以包括：连续运行时长、异常退出频率、资源占用是否在预算范围内。这些指标需要在一段观察期内统计，单次测试无法反映。

可维护性同样需要验收。文档是否完整，配置修改是否需要专业人员介入，日志能否支撑问题定位。这些内容不影响首次功能演示的效果，但决定了系统上线后的维护成本由谁承担、以多少投入承担。这部分内容建议在验收材料中逐项列出，而不是留作口头的补充说明。

验收要覆盖运行期指标

有些问题只有在真实使用中才会出现。因此验收标准可以包含一个运行期观察阶段，而不是在功能演示通过后立即结项。

观察期内的指标应当与业务挂钩。例如人工介入比例是否符合预期、处理时间是否在可接受范围内、用户是否愿意继续使用。这些指标反映的是系统是否真正被用起来，而不是能否被演示出来。

这个阶段的长度需要结合业务周期确定，过短则样本不足。按月结算的业务，观察期至少要覆盖一个完整周期，否则统计结果不完整。