苏州炬擎数原科技
Novi Enterprise ↗ 中文 / EN联系我们
← 返回技术 Blog
技术 Blog 2026-09-28 · 次阅读

从模型到 AgentOS:端侧智能体的感知决策执行闭环怎么搭

小
小编
TorchDigit
从模型到 AgentOS:端侧智能体的感知决策执行闭环怎么搭

模型能回答问题,不等于能干活。把模型变成能在现场作业的智能体,中间要补三件事:把多模态输入转成结构化状态、把任务拆成可执行的步骤并调度工具、在执行环节加上权限与回滚。这三层合起来才是运行时,也就是 AgentOS 承担的角色。

感知层:把多模态输入转成结构化状态

现场的原始输入是杂的:摄像头画面、设备读数、工单文本、操作员语音。感知层的任务不是简单转发,而是把它们整理成后续决策能用的形式。

具体包括三类处理。一是识别与抽取,从图像与文本中取出关键字段,比如设备编号、告警类型、数值读数。二是归一化,把不同来源、不同格式的同一含义统一到一套表示上,避免下游反复判断格式。三是状态维护,把这次输入与之前的上下文合并成当前状态,而不是每次从零开始。

这一层的设计要点是可失败。识别错误的输入要让下游能察觉,而不是悄悄传下去。常见做法是给每个字段附带置信度,低置信度的项触发人工确认或跳过。

fig-1.png

决策层:任务拆解与工具调度

决策层把当前状态映射成动作序列。端侧场景下有三条约束需要照顾。

第一是模型调度。同一台设备上可能跑着不同规模的模型,简单任务用小模型响应更快,复杂任务才调用大模型,避免所有请求都走最重的路径。

第二是工具调用要收敛。可调用的动作应该是有限集合,每个动作有明确入参与出参。开放式的自由调用在现场很难控制,出了问题也不好定位。

第三是决策要有兜底。当模型给出的动作不在允许集合内,或者置信度不足,应该退回到预设流程或转人工,而不是勉强执行。

执行层:权限隔离、回滚与留痕

执行层是风险最集中的地方,因为动作会真实改变系统状态。

权限隔离按最小必要原则做:每个智能体只能操作完成其职责所需的资源,跨域访问要经过审批。模型与工具之间也要隔离,模型只能通过规定的接口发起动作,不能直接触碰底层资源。

回滚要有可退的版本。无论是流程配置还是模型版本,都要保留上一版并可快速切回。变更前的状态要能恢复,不能只做前向修改。

留痕要求每次调用都记录完整链路:谁发起、模型读取了哪些数据、调用了哪个工具、参数是什么、结果如何。这些记录既是审计依据,也是排查问题的唯一线索。

fig-2.png

上一篇 int4 量化后 1GB 常驻:端侧 KV Cache 分块与内存池复用实践
下一篇 没有了

相关阅读