感慨，Deepseek V4 Flash 终于本地跑起来了，非作业，纯感想
-
老哥，恭喜跑起来！想请教几个部署细节：
- 用的是 llama.cpp、DwarfStar 还是其他推理引擎？
- Q4 模型具体是哪个 GGUF 版本？文件有多大？
- 双 3090 分别占用了多少显存？CPU Offload 了多少层？有没有用 --n-cpu-moe？
- 10–11 tok/s 对应多长的 Context？
我也想研究这条路线。
-
我是32G显存N卡，内存和你一模一样 128 GB DDR4 3200，也只能跑出11~12tok/s。问了AI，发现瓶颈在内存交换速度。我的只有53G，差太远了，用这个瓶颈AI算给我说也就是12tok/s
-
我是32G显存N卡，内存和你一模一样 128 GB DDR4 3200，也只能跑出11~12tok/s。问了AI，发现瓶颈在内存交换速度。我的只有53G，差太远了，用这个瓶颈AI算给我说也就是12tok/s
-
我刚测过了，i7-12700K + DDR4-3600 双通道: 测试数据如下
1 线程: 9.3 GB/s
2 线程: 23.3 GB/s
4 线程: 36.0 GB/s
8 线程: 53.4 GB/s ← 峰值AI计算过程
DSF 10B active params @ ~4bit量化 ≈ 5 GB/token
53.4 GB/s 除以 5GB/token → 11 tok/s 左右 (理论上限)我实测最高到12 tok/s
-
-
@johnnybegood 对，有个什么XMP，打开就是可以超到3600
此主題已被删除！ -
@johnnybegood 对，有个什么XMP，打开就是可以超到3600
-
听你这么一说，我查了下，我的是 4条 Patriot 32GB Viper Steel DDR4 3600 MHz UDIMM Memory。我一直还以为我的是3200 MHz,哈哈。想当年，这4根内存的价格跟现在四根DDR5的价格真实天差地别。
@Ben-Lee 到 15t/s 了！ 用的这个模型 https://huggingface.co/turboderp/DeepSeek-V4-Flash-Vision-Exp-exl3/tree/3.04bpw ， 特地部署了 exllamaV3 + TabbyAPI ， 跑起来确实快了不少，聊起天来肉眼上还是能接受的比较舒服了， 另外试了一下coding， 应该是比 15tok/s 更快一些，可能超过20-25了。
-
听你这么一说，我查了下，我的是 4条 Patriot 32GB Viper Steel DDR4 3600 MHz UDIMM Memory。我一直还以为我的是3200 MHz,哈哈。想当年，这4根内存的价格跟现在四根DDR5的价格真实天差地别。
-
试了，120 GB 装不进 我的机器 32 GB显存+128G内存，exl3 不支持 offload。你的48G显存立功了。另：祝贺，这些速度都到了17了，其实可用了，不着急的任务，或者晚上睡觉前丢给它让它跑。
-
Deepseek V4 Flash 0731 Q4量化版，终于本地跑起来了。速度当然惨不忍睹，也就10-11tok/s——但回想来时路,还是有点感慨的。这台 6 年的老电脑,缝缝补补能到这一步,挺满足了。（最新情况， 到 15tok/s 了， 看 17楼帖子）
1. 本来的样子
CPU : AMD Ryzen 9 3950X
内存 : 32 GB DDR4
显卡 : ASUS RTX 2060 SUPER 8G
主板 : ASUS X570 TUF Gaming这种配置当年装出来其实已经过剩,日常写代码、打游戏绰绰有余,完全没必要折腾。
2. 沉寂的那些年
前两年有次朋友给了块 3070 8G,我顺手把 2060S 换掉了——机器对我来说还是"够用就行",从来没想着升级配置。
存储倒是买过几根——存储最便宜那阵子加了一条 32G,凑成 64G;再买了 2T、4T 的 SSD。那会儿 2T 才 500 多、4T 也就 1000 左右,买的时候还嫌贵。现在想想,幸亏那时候的自己——没在便宜的时候囤货这件事上犹豫,后面才知道什么叫真贵。
3. 去年:开始关注大模型
DeepSeek 出圈那会儿,我开始正儿八经研究大模型。早期本地能跑的那些小模型,玩了一圈觉得意思不大， 后面发现Qwen3系列模型不错， 3070 能跑起来像样的东西了,才看见希望。
心里想升级,行动上又拖了下来。
4. 今年:开始加速
年初开始玩龙虾,进一步意识到本地模型的价值。Qwen3.5 一波小尺寸又好用的模型出来后,我下定决心——加一块 3090。
拿回来一跑,真的豁然开朗:很多以前跑不动的大模型都能跑起来了。那一刻甚至有点飘,觉得自己已经"无所不能"——直到碰到 DeepSeek。才发现 DeepSeek 是一道真正的鸿沟。
网上搜了无数教程,基本只有两类:要么 M3 Ultra 大内存一体机,要么好几张 RTX 6000 Pro。看着别人的配置,真有一种望洋兴叹的无力感。
后来 Qwen3.8 Flash Next 出来,3070 拖了它大腿,于是直接换成了 3080 20G,内存加到 96G。
升级完也就爽了两星期——立刻发现两个新问题:
- 3080+3090 不对称, 两张卡基本各跑各的
- 96G 内存单双通道混插,带宽掉得很厉害,影响所有 batch / offload 类的参数
这些问题虽然烦,至少 Qwen3.8 Flash Next 是跑起来了。DeepSeek V4 Flash Q4 也第一次看到了"希望"——虽然最后还是 OOM。
于是决定:加到 128G 内存,3080 换成 3090。顺便整顿了机箱风道,装了几个 F9 R120 风扇,真的吹得很爽。
5. 现在的样子
CPU : AMD Ryzen 9 3950X
内存 : 128 GB DDR4 3200
显卡 : ASUS RTX 3090 24G × 2
主板 : ASUS X570 TUF Gaming(原地没动)前前后后所有升级加一起,不到 1.6W RMB。
除了能跑大模型， 我喜欢的游戏，现在也能用3090支持 DLSS5 和多帧生成了~老游戏焕发第二春，也挺开心的，一不小心就玩了一整天。6. 关于主板
但要说说这块主板。
搞了那么多升级,最后才发现——这块主板只支持 PCIE 4.0 16X + 4X,跑不了 8X + 8X,也不能 P2P。
真是有点如鲠在喉。下一步,只能换主板。但至少 DeepSeek V4 Flash 0731 在这台机器上真的跑起来了——也算完成了当初那个小小的愿望吧，不知道有没有大神能在指导指导，让我跑的更快点。
后记
这机器,陪我 6 年，稀里糊涂各种很拮据的升级，虽然没钱，但继续升级只是因为不愿意放弃。
下一步折腾什么?谁知道呢。折腾无止境,后面继续折腾。
@johnnybegood 老机器新生命 真棒！
-
试了，120 GB 装不进 我的机器 32 GB显存+128G内存，exl3 不支持 offload。你的48G显存立功了。另：祝贺，这些速度都到了17了，其实可用了，不着急的任务，或者晚上睡觉前丢给它让它跑。
@Ben-Lee 现在 GLM5.3-flash 也能跑到 19 tok/s 了。 https://lcz.me/topic/1929
