新闻动态

行业资讯 128K 上下文在端侧设备上如何不爆内存长上下文是端侧模型近两年进步最明显的一项能力，128K 量级的上下文窗口已经出现在 1B 规格的模型上。但标称支持与设备上能稳定跑通是两件事。上下文越长，推理过 2026-09-29
886 次阅读 行业资讯 端侧推理的功耗散热与稳定性怎么平衡端侧设备一旦部署到现场，就要面对一个云端机房不需要考虑的问题：没有空调，没有冗余电源，有些还装在密闭机柜里。功耗、散热与稳定性三者互相约束，任何一项被忽略，系统 2026-09-29
858 次阅读 行业资讯 无 GPU 的 4 核 ARM 网关跑出 63 tok/s 意味着什么一台没有独立 GPU、靠被动散热工作的 4 核 ARM 工业网关，把 1B 参数模型的解码速度做到 63 tok/s。这个数字的意义不在于刷新纪录，而在于它把端 2026-09-29
827 次阅读 行业资讯 int4 量化后 1GB 常驻：端侧部署的内存账怎么算内存是端侧部署最先撞到的那堵墙。设备的内存预算不会因为要跑 AI 而增加，模型必须先算清自己能占多少，再倒推以什么规格运行。把「1GB 常驻」这句话拆开，它由三 2026-09-29
757 次阅读 公司动态 炬擎数原第一版端侧基座模型完成内部验证起点是一个具体的技术判断公司成立前的论证围绕一个问题展开：企业 AI 的普及瓶颈在哪里。当时的观察是，云端大模型能力已经足够强，但大量企业场景受限于三个条件—— 2026-09-29
828 次阅读 行业资讯 企业上 AI 为什么第一步该想清楚数据在哪企业落地 AI，多数讨论集中在「用什么模型」，但更早该回答的问题是「数据在哪、能不能动」。数据的位置和流动方式，决定了架构的形态、合规的成本，甚至决定了哪些任务 2026-09-29
665 次阅读 行业资讯 从云端回到设备：这轮端侧 AI 热的底层原因端侧 AI 不是新概念，嵌入式设备上跑小型模型已经有多年历史。这一轮的区别在于：跑在设备上的从「专用小工具」变成了「通用大语言模型」。变化不是单点突破，而是四条 2026-09-29
833 次阅读 行业资讯 端侧模型能做什么？一份真实的能力边界清单谈端侧模型，说「能做什么」容易，说「做不好什么」更有用。一份不回避短板的能力清单，比一组漂亮的参数更能帮助企业做判断。下面按任务类型逐项过一遍，每项都给出适用条 2026-09-29
896 次阅读 行业资讯 端侧与云端不是二选一：哪些任务该留在本地讨论端侧 AI 时最容易走偏的思路，是把「上云还是本地」当成一道单选题。实际部署里，两者更接近一条分诊线：每个任务按属性被分到不同位置，多数企业的最终形态是端云 2026-09-29
880 次阅读