苏州炬擎数原科技
Novi Enterprise ↗ 中文 / EN联系我们
← 返回公司动态
公司动态 2026-09-29 · 次阅读

端侧模型与四类终端形态的适配维度

苏
苏州炬擎数原科技
TorchDigit
端侧模型与四类终端形态的适配维度

本篇说明端侧模型的适配以终端条件为起点。官网列出四类终端形态、四个模型规格档位与三类典型任务,本篇逐项说明各类终端约束的差异所在,以及为什么端侧选型要先确定终端类别,再确定模型档位与能力方向。

终端类别先于模型规格

端侧部署与传统服务器部署的差别,在于算力条件由终端决定,而不是由机房决定。官网列出的四类终端分别代表四种算力与功耗约束:AI PC 以消费级处理器的 NPU 承担推理;工业网关是无风扇的 ARM 四核设备,散热与功耗上限更紧;政务一体机运行在国产处理器与国产 NPU 的组合上;可穿戴与眼镜设备只有低功耗 DSP 可用。 四类终端的差异不只在算力大小。带风扇的设备可以长时间维持较高负载,无风扇设备必须控制持续功耗;消费电子的更新周期短,工业与政务设备的更新周期长,两者的软件生命周期也不相同。终端类别一旦确定,可用的模型规格区间与散热方案就随之收窄。因此端侧选型的第一步是确认终端类别,而不是先挑模型。

fig-1.png

四个模型规格档位的划分

官网把端侧模型的规格分为四个档位:0.4B、1B、4B 与 8B 稀疏。这四个档位从小到大排列,对应终端条件的宽严变化。0.4B 面向资源最紧的一档,8B 稀疏面向算力相对宽裕的一档,1B 与 4B 处于中间。 四个档位并非同一条产品线的四个版本,而是覆盖不同终端条件的规格区间。同一个档位内,模型的能力方向可以不同:同一规格下既有语言基座,也有多模态或语音方向的模型。因此选型时需要同时确定两个维度,即规格档位与能力方向,缺其中任一项都无法收敛到具体型号。

三类任务与档位的关系

官网列出的三类典型任务是会议纪要摘要、设备告警诊断与合同条款抽取。三类任务的输入长度、输出形式与准确度要求各不相同:摘要类任务输入长、输出短;诊断类任务需要结合设备上下文与历史记录;条款抽取类任务对字面准确度要求较高。 任务类型影响的是能力方向与后处理方式的选择,终端条件决定可选范围。两个条件叠加之后,可选项往往只剩一到两个档位。官网的端侧推理组件按终端、模型规格、任务三个维度组织展示,访客可自行组合查看不同条件下的表现。这也说明端侧模型的评价方式与云端不同,脱离终端条件谈论单一指标没有意义。

选型的顺序因此是单向的。先确认终端类别,可得区间随之确定;再在区间内选择规格档位;最后按任务类型确定能力方向。反向操作,即先选定型号再寻找可用终端,通常会在散热与功耗条件上受限。这也是端侧方案在前期沟通中会把终端形态与场景描述列为两项必要信息的原因:缺少任一项,区间无法收敛。

fig-2.png

上一篇 Novi Enterprise 十四件产品的功能定位与使用入口
下一篇 四条模型主线的能力分工

相关阅读