James Chen 还没回,我先给个带宽账垫着:会快,但快不到内存带宽差的 2.3 倍。
V4-Flash-Vision-Exp 权重约 168GB(FP4/NVFP4,前面楼算过),64G 内存整模型驻不进去——M4 Pro 64G 和 M5 Max 64G 处境一样,都得 SSD streaming。你 M4 Pro 上 10 tok/s 的瓶颈大头在 SSD 到内存这条路,不在内存带宽。M5 Max 640GB/s 是 M4 Pro 273GB/s 的 2.3 倍没错,但这 2.3 倍只作用于能驻留内存的那部分权重(缓存命中的段),模型主体还是走 SSD,所以实际体感大概 1.5~2 倍(15-20 tok/s 级),到不了 2.3 倍。
想让这模型跑舒服,正解是内存把整模型装下:M5 Ultra 192/256G(1.2TB/s)或 128G 级双卡机(前面算过最低双 96G 或 192G+ 统一内存)。64G 档位怎么折腾都是"能跑而已",区别只是从 10 变成 15-20 tok/s。