内存墙：为什么端侧大模型跑不动，以及怎么绕过去

内存墙指的是处理器计算能力增长远快于存储带宽增长，导致计算单元大部分时间在等数据。对大模型解码而言，每个 token 都要读一遍全部权重，吞吐上限等于带宽除以模型大小。端侧设备带宽只有数十 GB/s，因此传统架构下跑不动像样的大模型；存算一体和近存计算通过让权重不搬运或少搬运来绕过这堵墙。

一道除法

解码阶段的吞吐上限可以用一道除法估算：每秒能生成的 token 数 = 存储带宽 ÷ 每个 token 需要读取的权重字节数。一个 1B 参数、INT8 精度的模型，每个 token 要读约 1 GB。带宽 50 GB/s 的端侧设备，上限就是每秒 50 个 token，而且这是理论峰值，实际还要打折。

把模型换成 7B，同样的设备只剩每秒 7 个 token；换成 35B，每秒 1 个多。这不是算力不够，是搬不动。给它再多 TOPS 也没用，因为计算单元大部分时间在等权重到达。

数据中心怎么扛，端侧为什么扛不了

数据中心的答案是 HBM：几 TB/s 的带宽，把这道除法的分子做大。代价是功耗几百瓦、成本几万元、封装复杂。这些在端侧都不成立：随身设备只有几瓦，车载和机器人只有几十瓦，成本要压到几百上千元。

所以在传统架构下，端侧大模型只有两条路：把模型压到很小，或者接受很慢。两条路都不好走。

绕过去：让权重不搬

存算一体把乘加做进存储阵列，权重原地参与计算，总线上只走激活。激活的数据量比权重小几个数量级，带宽不再是瓶颈。MaskROM 掩膜存算一体走得最远：权重在流片时铸进硅片，连读出都省了。

近存计算则把计算单元紧贴高带宽存储，用片上流式调度让每次读出的权重被充分复用，把搬运的次数和距离压到最低。它保留了模型可更新的灵活性，适合参数量大、还在演进的模型。

两条路线的共同点是把那道除法的分母变小或者干脆消掉，而不是盲目做大分子。这就是为什么它们能在成熟的 28nm 工艺上跑起端侧大模型。

对产品意味着什么

解码速度从「每秒几个 token」变成「每秒上万 token」，语音交互不再有停顿，多路并发成为可能；整机功耗从十几瓦降到单瓦级，随身设备可以全天离线运行；没有 DRAM 或 HBM，整机 BOM 和散热设计都简化了。

燔石半导体的量产芯片分别对应 MaskROM、SRAM 存内计算与近存计算三条路线。想判断自己的产品该走哪条，可以先看《端侧推理芯片怎么选》。