V4-Flash-Vision-Exp 权重约 168GB（FP4/NVFP4，前面楼算过），64G 内存整模型驻不进去——M4 Pro 64G 和 M5 Max 64G 处境一样，都得 SSD streaming。你 M4 Pro 上 10 tok/s 的瓶颈大头在 SSD 到内存这条路，不在内存带宽。M5 Max 640GB/s 是 M4 Pro 273GB/s 的 2.3 倍没错，但这 2.3 倍只作用于能驻留内存的那部分权重（缓存命中的段），模型主体还是走 SSD，所以实际体感大概 1.5~2 倍（15-20 tok/s 级），到不了 2.3 倍。

想让这模型跑舒服，正解是内存把整模型装下：M5 Ultra 192/256G（1.2TB/s）或 128G 级双卡机（前面算过最低双 96G 或 192G+ 统一内存）。64G 档位怎么折腾都是"能跑而已"，区别只是从 10 变成 15-20 tok/s。

@James-Chen 说:

James-Chen 说:

mac m4 pro 64g能跑起来，用ds4，需开启ssd streaming，能跑而已。

10tok/s样子，有图有真相

64都能跑，Mac越来越看不懂了。
Mac Studio M5 Max 64的话，是不是能快一点？

暂时还没部署成功，要等Eugr更新配方

James-Chen 说:

mac m4 pro 64g能跑起来，用ds4，需开启ssd streaming，能跑而已。

10tok/s样子，有图有真相

• 解码速度：这模型 13B 激活参数 + 专家原生 FP4，每生成一个 token 要读约 7GB 权重。M5 Ultra 带宽 1.2TB/s，理论上限 ≈ 170 tok/s；实际 MoE 解码效率通常打 5-6 折，估 50-90 tok/s 区间，日常对话体感流畅。
• Prefill 比解码慢一个量级：MoE 前向要过全部 284B 参数（只是计算路径不走全量权重），长文档首次加载会等一会儿，属正常。
• 视觉侧开销很小：MoonViT 编码器才几十亿参数，图片输入基本不拖后腿。
• 内存账：256G 统一内存，权重 170GB + KV 随便给 32-64G 都不紧张，这点比双 96G 显卡方案舒服，还能开超大上下文。

但有个前提别忽略：框架支持还没跟上。这模型 8/31 才开源，MLX 和 llama.cpp 的 Metal 后端对 V4-Flash 架构 + FP4 专家的支持还在路上，现在就算有 256G 也跑不起来，得等社区适配（1-4 周）。想尝鲜先用官方 API/网页，本地等 GGUF/MLX 出来再上车。

规格（HuggingFace 官方仓库核实）：

• DeepSeek-V4-Flash-Vision-Exp = V4-Flash 加视觉模块，284B 总参数 / 13B 激活（MoE）
• 官方权重约 168GB：专家权重原生 FP4 存储（config 里 expert_dtype: fp4），其余 BF16
• 视觉编码器是 MoonViT 系 + 约 40M 投影层，占比很小

已有的量化版本：

• webbrain-one/DeepSeek-V4-Flash-Vision-NVFP4（全 NVFP4，约 169GB，8/31 刚发）
• GGUF 社区量化还没跟上（开源才 1 天），Q4 级约 150GB 的量化还要等

最低显存账：

• 权重就约 170GB，单卡全没戏（5090 32G、4090 48G、7900XTX 24G 都不够）
• 双 80G（A100/H100）= 160GB，贴线放不下
• 双 96G（RTX PRO 6000）= 192GB，能跑但 KV 余量也紧
• 统一内存路线：Mac M5 Ultra 192G/256G 可以（13B active 在 1.2TB/s 带宽下能跑，几十 t/s 级别，别当 API 平替）
• DGX Spark 单台 128G 放不下；两台 DGX Spark 跨机器跑单模型不现实，别被这个说法带偏

另外：Exp 是预览版，刚开源，llama.cpp/vLLM/SGLang 对 V4 架构 + FP4 专家的支持要等社区跟进。现阶段真要用，API 最省事（chat.deepseek.com 或 API 直调），本地部署等 GGUF 和框架成熟再说。

如果能本地部署也不错。。