千目 Argus

从一封邮件到一颗芯片

1. 01

   确认路线

   目标模型、性能与功耗目标、更新频率、接口需求。第一个问题永远是：模型多久变一次。

2. 02

   FPGA 评估

   在评估板上部署推理内核，跑通模型，测量精度与吞吐，形成第一台工程样机。

3. 03

   系统导入

   围绕评估结果做接口、系统软件与现场验证，把样机变成产品原型。

4. 04

   ASIC 交付

   模型冻结后，采用量产 ASIC，或把 IP 集成进客户自己的芯片流片。

另外两颗

逐火 Forge端侧轻量级芯片 · 17,000 token/s镇岳 Trident旗舰重载型芯片 · 15,000 token/s

延伸阅读

• 端侧推理芯片怎么选：从模型、功耗到更新方式的七个问题为设备选端侧推理芯片时，真正决定成败的不是峰值算力，而是模型是否放得下、功耗是否撑得住、模型能不能更新。本文给出七个必须先回答的问题和一张选型清单。
• 推理算力成本怎么算：API、自建 GPU 与买断式芯片的三年账推理算力的账要按三年算：API 按 token 计费、自建 GPU 按卡时摊销、专用芯片一次买断。本文给出三种方式的计算口径、一个可复算的例子，以及回本周期的估算方法。
• 内存墙：为什么端侧大模型跑不动，以及怎么绕过去大模型推理在解码阶段是带宽受限的：每生成一个 token 都要读一遍全部权重。端侧设备的带宽与功耗预算撑不起这种搬运，这就是内存墙。本文用数字说明这堵墙有多高，以及存算一体与近存计算如何绕过它。