感慨，Deepseek V4 Flash 终于本地跑起来了，非作业，纯感想
-
折腾路线很真实，你这台的下一步其实挺明确，别先急着换主板。
1. 先量再换：用
llama-bench把 pp（prefill）和 tg（decode）分开跑，确认 DeepSeek V4 Flash Q4 现在卡在哪一段。10–11 t/s 对这类模型，多半是权重没全进显存、专家层在 CPU 上跑，而不是算力不够。2. 48GB 显存怎么放：如果是 MoE，用
--n-cpu-moe N只把一部分专家放 CPU（从多到少试），attention/dense 层留 GPU；纯 dense 大模型 48GB 塞不下就别硬塞，Q4 也塞不下。同时开--flash-attn，KV 用--cache-type-k q8_0 --cache-type-v q8_0，能省大约一半 KV 显存，给权重腾地方。3. 内存先别掉链子：128G DDR4-3200 在 3950X 上插满 4 条通常会掉到 2933/2666，先
dmidecode -t memory | grep -i "Configured Memory Speed"看实际频率。掉频的话，把内存稳在 3200（比换主板便宜得多）比换板更值。4. X570 的 x16+x4 是真瓶颈：第二条物理 x16 槽只有 CPU x4 走线，双卡各跑各的、做不了 TP。williamlouis 说的 BIOS 拆 x8/x8 是首选——先更新到最新 BIOS，再看 Advanced → Onboard Devices Configuration → PCIEX16_1 Bifurcation，改成 X8/X8；但 TUF X570 是否物理支持要看你具体板型和 BIOS，拆不了再谈换板。别为 P2P 折腾——X570 同样有 ACS 挡着，双 3090 想要低延迟 all-reduce 只有 NVLink（3-slot 桥，约 ¥2300），换 X99 或 Gen4 板子的收益都不如它；要换就按"先 NVLink、后主板"排。
5. 发热：220W/卡 + 前下进后上出 + 限功耗方向对，3090 显存 85°C 可接受但别再往上，核心热点温度用
nvidia-smi -q -d TEMPERATURE看。一句话：先把 V4 Flash 的 pp/tg 测出来、把专家 offload 和 KV 量化调对，再决定换不换板；真要花钱，NVLink 优先。
-
老哥，恭喜跑起来！想请教几个部署细节：
- 用的是 llama.cpp、DwarfStar 还是其他推理引擎？
- Q4 模型具体是哪个 GGUF 版本？文件有多大？
- 双 3090 分别占用了多少显存？CPU Offload 了多少层？有没有用 --n-cpu-moe？
- 10–11 tok/s 对应多长的 Context？
我也想研究这条路线。
-
我是32G显存N卡，内存和你一模一样 128 GB DDR4 3200，也只能跑出11~12tok/s。问了AI，发现瓶颈在内存交换速度。我的只有53G，差太远了，用这个瓶颈AI算给我说也就是12tok/s
-
我是32G显存N卡，内存和你一模一样 128 GB DDR4 3200，也只能跑出11~12tok/s。问了AI，发现瓶颈在内存交换速度。我的只有53G，差太远了，用这个瓶颈AI算给我说也就是12tok/s
-
我刚测过了，i7-12700K + DDR4-3600 双通道: 测试数据如下
1 线程: 9.3 GB/s
2 线程: 23.3 GB/s
4 线程: 36.0 GB/s
8 线程: 53.4 GB/s ← 峰值AI计算过程
DSF 10B active params @ ~4bit量化 ≈ 5 GB/token
53.4 GB/s 除以 5GB/token → 11 tok/s 左右 (理论上限)我实测最高到12 tok/s
-
-
@johnnybegood 对，有个什么XMP，打开就是可以超到3600
此主題已被删除！ -
@johnnybegood 对，有个什么XMP，打开就是可以超到3600
-
听你这么一说，我查了下，我的是 4条 Patriot 32GB Viper Steel DDR4 3600 MHz UDIMM Memory。我一直还以为我的是3200 MHz,哈哈。想当年，这4根内存的价格跟现在四根DDR5的价格真实天差地别。
@Ben-Lee 到 15t/s 了！ 用的这个模型 https://huggingface.co/turboderp/DeepSeek-V4-Flash-Vision-Exp-exl3/tree/3.04bpw ， 特地部署了 exllamaV3 + TabbyAPI ， 跑起来确实快了不少，聊起天来肉眼上还是能接受的比较舒服了， 另外试了一下coding， 应该是比 15tok/s 更快一些，可能超过20-25了。
-
听你这么一说，我查了下，我的是 4条 Patriot 32GB Viper Steel DDR4 3600 MHz UDIMM Memory。我一直还以为我的是3200 MHz,哈哈。想当年，这4根内存的价格跟现在四根DDR5的价格真实天差地别。
-
试了，120 GB 装不进 我的机器 32 GB显存+128G内存，exl3 不支持 offload。你的48G显存立功了。另：祝贺，这些速度都到了17了，其实可用了，不着急的任务，或者晚上睡觉前丢给它让它跑。
