端侧方案的评估维度

本篇说明端侧方案的评估方式与云端评估的差异，包括为何评估以终端条件为前提，三个观察维度各自反映什么，以及在断网条件下如何进行对照。

评估以终端条件为前提

端侧方案的评估与传统云端方案的评估方式不同。云端方案的算力由服务端统一提供，评估时可以固定服务端条件，单独比较模型表现。端侧方案的算力来自终端本身，终端类别不同，可用资源与散热条件都不同。

这一差异导致同一个模型在不同终端上的表现不可直接比较。评估端侧方案时，需要先说明终端条件，再讨论表现；脱离终端条件的单一指标没有参考价值。官网的端侧推理组件按终端、模型规格、任务三个维度组织展示，供访客组合不同条件查看对应结果。

三个观察维度

官网列出的观察维度有三个：首 token 延迟、解码速度与内存占用。三项分别反映不同特性。

首 token 延迟反映响应开始的快慢，决定交互是否存在等待感；解码速度反映内容生成的持续速率，决定长内容的输出节奏；内存占用反映模型常驻对设备的资源压力，决定该设备上还能同时运行哪些程序。

三项共同构成对端侧表现的判断，单独看任一项都不完整。对实际部署而言，内存占用往往是先决条件。占用超出可用范围时，另外两项再优也无法常驻，方案在该终端上不成立。三个维度之间存在相互影响。

同一模型在功耗上限更紧的终端上，往往需要在解码速度与内存占用之间取舍；提升其中一项，另外一项的条件会相应收紧。这一关系也是评估必须以终端条件为前提的原因之一。

断网条件下的对照

组件提供断网开关，用于对比端侧与云端方案在无网络环境下的可用性。打开断网后，端侧方案仍可在本机完成推理，云端方案因需要上传数据而不可用。这一对照方式说明端侧方案的评估不只比较快慢，还比较在特定条件下的可用性。

对网络受限场所与数据不出域场景，可用性判断的优先级高于性能比较。对照的意义在于把可用性从性能讨论中分离出来。对多数厂区与专网场景，方案能否在无网络条件下完成推理，是能否进入该现场的前提条件，而不是可比较的加分项。

需要说明的是，组件列示的数值为演示模拟口径，用于说明评估维度与对照方式，不构成对具体设备上表现的承诺。实际评估应以目标终端、目标模型规格与目标任务的实测结果为准。

三个维度之间的取舍关系还与任务类型相关。长内容生成对解码速度更敏感，短交互任务对首 token 延迟更敏感，常驻运行的任务对内存占用更敏感。同一终端同时承担多类任务时，配置需要在三者之间取得一个同时可接受的组合，而不是按单项最优设置。

这也是端侧方案在评估阶段需要先明确任务类型的原因之一。