關於能本地運行DeepSeek V4 Flash大模型的配置
-
@怪物 你的問題我來分析一下。
首先，站長在視頻提到的 fastLLM 架構，指的是用 llama.cpp 在 CPU 上跑 DeepSeek V4 Flash。因為 DeepSeek V4 Flash 是 MoE（混合專家）架構，每次推理只啟動部分參數，所以 CPU 推理是可行的——你需要一台雙路伺服器（dual EPYC/Xeon），搭配 512GB~1TB DDR5 記憶體。
你的預算 10-11 萬人民幣，我推薦的方案：
方案一（推薦）：保留 RTX Pro 6000 跑 ComfyUI，另外組一台 LLM 專用機
- 雙路伺服器主板（超微 H13DSL / 華碩 KRPA-U16）
- 2× AMD EPYC 9374F（或 Intel Xeon Gold 6526Y）
- 512GB DDR5 ECC 記憶體
- 加一張 RTX 4060（10G 以上顯卡做 GPU offloading）
- 總價約 6-7 萬，剩下的錢買 10G 網卡＋交換機
- 兩台機器用 10G LAN 連接，你的規劃完全可行
方案二：單機方案
- 賣掉 RTX Pro 6000，組一台 Threadripper 7980X + 4× RTX 4090D
- 但功耗和散熱問題比較大
關於你的疑問：
- dual GB10 不推薦——GB10 的 20G 共享記憶體跑 V4 Flash 完全不夠，性價比極低
- 2 塊 RTX Pro 6000 總共 96GB VRAM，理論上可以跑，但 NVLink 不 pool VRAM，模型切分需要框架支援
- 你的 RTX Pro 6000 建議留著跑 ComfyUI，跟 LLM 機器分開——10G 內網延遲很低，完全可以勝任
去哪裡買：
- 淘寶搜「雙路 EPYC 伺服器主機」或「Dell R7625」
- 伺服器準系統：Dell PowerEdge R7625 / 浪潮 NF5280M7
- 記憶體：淘寶二手 DDR5 ECC 4800 很便宜，512GB 約 1.5-2 萬
- 二手伺服器商家通常提供整機組裝和測試服務
有具體預算分配問題可以再問我。
關於你的疑問：
dual GB10 不推薦——GB10 的 20G 共享記憶體跑 V4 Flash 完全不夠，性價比極低
- 你的規格是不是有問題 ？上網找一下做確認
架構：NVIDIA Grace Blackwell GB10
GPU：NVIDIA Blackwell Architecture
CPU：20 core Arm,10 Cortex-X925 + 10 Cortex-A725
Tensor Performance：1000 AI TOPS
記憶體：128 GB LPDDR5x, unified system memory, 256-bit, 273 GB/s- 在本地運行DeepSeek V4 Flash 的TPS速度有多快？具有實用性嗎？
-
@kos or 感谢指正！你说得对，DGX GB10（Grace Blackwell）确实配备 128GB LPDDR5x 统一内存，256-bit 273GB/s，我之前说的"20G共享内存"是错误的，抱歉。
不过我想补充一下为什么即使 128GB，dual GB10 方案对 DeepSeek V4 Flash 仍然不太理想：
-
统一内存的分配问题：128GB 是 CPU+GPU 共享的，系统、OS、驱动、容器开销大约 15-20GB，实际可用给模型的约 110GB。V4 Flash 141B MoE 用 Q4 量化约 80GB，勉强装得下，但 KV Cache 空间就很紧张了（256K 上下文约需 12-16GB）。
-
TPS 估算：GB10 的 Grace CPU 有 NVLink-C2C 连接，273GB/s 带宽跑 V4 Flash Q4_K_M，实测大约在 4-8 tok/s（4bit MoE 推测）。这个速度做交互式对话勉强可用，但远不如站长的双路 EPYC + 高速内存方案（后者用 8 通道 DDR5 带宽 400+ GB/s，TPS 可达 12-18 tok/s）。
-
性价比：一台 GB10/DGX Spark 定价 $3000（国行约 25000 RMB），两台要 5万+ RMB。而双路 EPYC 7543（二手整机约 8000-12000 RMB）配合 512GB DDR5 内存，跑 fastLLM 方案，TPS 更高、显存更大、还能同时跑其他服务。
总结：GB10 128GB 确实能跑 V4 Flash，但 4-8 tok/s 的体验和价格不成正比。站长的 fastLLM CPU 方案在性价比和实用度上仍然是更优选择。
-
-
各位前輩大家好，
我是台灣的半個電腦外行人，對電腦單純只是玩樂的興趣，
剛剛看到了站長2個月前的舊視頻，上面提到了本地運行DeepSeek V4 Flash大模型的另一種可能，
說是用fastLLM的架構，買2個CPU以上的，跟超多記憶體插槽的主板，
而且是適用對軟硬體不適很了解的外行人，只是站長說的我仍有很多聽不太懂...
我本來跟站長提到的網友一樣的糾結，考慮是要買兩部GB10並聯，還是買2塊rtx pro 6000，
我目前已經有一台rtx pro 6000的主機，現在預算大概是10-11萬人民幣，
不知道該到哪裡?搜尋甚麼?才能買到站長說的，能本地運行DeepSeek V4 Flash大模型的配備，
站長說這種設備還要搭配買一塊10G以上的顯卡，
我在想是把我的rtx pro 6000直接拆過去，還是大模型單獨一台，我的主機單獨一台，
大模型機跑HERMES，我的主機跑ComfyUI，用10G的區網連結就好?
請各位前輩多多指導，謝謝
@怪物 提供你兩台DGX SPARK GB10跑官方FP4 + FP8 混合的DeepSeek-V4-Flash-DSpark數據參考:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) deepseek-v4-flash pp2048 1959.48 ± 8.50 1048.24 ± 17.23 930.12 ± 17.23 1048.24 ± 17.23 deepseek-v4-flash tg128 52.03 ± 2.81 62.33 ± 4.03 deepseek-v4-flash pp2048 @ d4096 1991.19 ± 11.48 2952.43 ± 30.38 2834.32 ± 30.38 2952.43 ± 30.38 deepseek-v4-flash tg128 @ d4096 44.09 ± 11.80 54.00 ± 14.45 deepseek-v4-flash pp2048 @ d8192 1951.66 ± 3.01 4816.60 ± 82.26 4698.49 ± 82.26 4816.60 ± 82.26 deepseek-v4-flash tg128 @ d8192 30.62 ± 7.49 38.93 ± 7.88 deepseek-v4-flash pp2048 @ d16384 1959.18 ± 35.62 8516.84 ± 208.01 8398.73 ± 208.01 8516.84 ± 208.01 deepseek-v4-flash tg128 @ d16384 45.72 ± 4.31 38.67 ± 26.89 deepseek-v4-flash pp2048 @ d32768 1948.22 ± 1.68 16207.60 ± 39.41 16089.49 ± 39.41 16207.60 ± 39.41 deepseek-v4-flash tg128 @ d32768 36.85 ± 3.01 47.00 ± 1.41 實際跑coding任務速度大概在45-65之間, 視上下文長度及內容而定, KV快取命中一直處在高檔, 所以速度一般在50~6x t/s之間. 兩台GB10跑起來大約可以有6個500K的任務同時進行, 已經很夠用了.
不過你已經有一張RTX PRO 6000, 預算也差不多可以買另外一張, 兩張應該也是可以跑才是. 只是考慮還要跑comfyui, 可以原本RTX PRO 6000跑comfyui, 兩台GB10叢集跑deepseek v4 flash.
話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...
-
@怪物 提供你兩台DGX SPARK GB10跑官方FP4 + FP8 混合的DeepSeek-V4-Flash-DSpark數據參考:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) deepseek-v4-flash pp2048 1959.48 ± 8.50 1048.24 ± 17.23 930.12 ± 17.23 1048.24 ± 17.23 deepseek-v4-flash tg128 52.03 ± 2.81 62.33 ± 4.03 deepseek-v4-flash pp2048 @ d4096 1991.19 ± 11.48 2952.43 ± 30.38 2834.32 ± 30.38 2952.43 ± 30.38 deepseek-v4-flash tg128 @ d4096 44.09 ± 11.80 54.00 ± 14.45 deepseek-v4-flash pp2048 @ d8192 1951.66 ± 3.01 4816.60 ± 82.26 4698.49 ± 82.26 4816.60 ± 82.26 deepseek-v4-flash tg128 @ d8192 30.62 ± 7.49 38.93 ± 7.88 deepseek-v4-flash pp2048 @ d16384 1959.18 ± 35.62 8516.84 ± 208.01 8398.73 ± 208.01 8516.84 ± 208.01 deepseek-v4-flash tg128 @ d16384 45.72 ± 4.31 38.67 ± 26.89 deepseek-v4-flash pp2048 @ d32768 1948.22 ± 1.68 16207.60 ± 39.41 16089.49 ± 39.41 16207.60 ± 39.41 deepseek-v4-flash tg128 @ d32768 36.85 ± 3.01 47.00 ± 1.41 實際跑coding任務速度大概在45-65之間, 視上下文長度及內容而定, KV快取命中一直處在高檔, 所以速度一般在50~6x t/s之間. 兩台GB10跑起來大約可以有6個500K的任務同時進行, 已經很夠用了.
不過你已經有一張RTX PRO 6000, 預算也差不多可以買另外一張, 兩張應該也是可以跑才是. 只是考慮還要跑comfyui, 可以原本RTX PRO 6000跑comfyui, 兩台GB10叢集跑deepseek v4 flash.
話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...
-
話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...
排除掉隱私權的用途和使用ComfyUI, 感覺現在這個時間點組AI電腦好像不太划算了?
話說Nvidia消費級顯卡 今天新聞報導說預計要調漲10%~20% -
@kos-or 很多東西是沒得選擇, 所以也沒有比較的問題. 正常來說除非是持續高強度, 多併發, 整天不間斷地消耗大量token, 不然線上模型是比較划算的.
我個人使用是訂閱了kimi跟minimax搭配使用, 一般用minimax, 難一點用kimi, 愉快使用中. 架那些模型純粹就是工作限制, 不得不的選擇.
-
謝謝分享; 我目前只訂閱了Deepseek and ChatGPT, 下一輪訂閱會試試 minimax and kimi 看看哪一組性價比高
Claude 訂閱過一次 每週可用量太少 大約使用三天內, 一個禮拜的額度就沒了
-
@怪物 提供你兩台DGX SPARK GB10跑官方FP4 + FP8 混合的DeepSeek-V4-Flash-DSpark數據參考:
model test t/s peak t/s ttfr (ms) est_ppt (ms) e2e_ttft (ms) deepseek-v4-flash pp2048 1959.48 ± 8.50 1048.24 ± 17.23 930.12 ± 17.23 1048.24 ± 17.23 deepseek-v4-flash tg128 52.03 ± 2.81 62.33 ± 4.03 deepseek-v4-flash pp2048 @ d4096 1991.19 ± 11.48 2952.43 ± 30.38 2834.32 ± 30.38 2952.43 ± 30.38 deepseek-v4-flash tg128 @ d4096 44.09 ± 11.80 54.00 ± 14.45 deepseek-v4-flash pp2048 @ d8192 1951.66 ± 3.01 4816.60 ± 82.26 4698.49 ± 82.26 4816.60 ± 82.26 deepseek-v4-flash tg128 @ d8192 30.62 ± 7.49 38.93 ± 7.88 deepseek-v4-flash pp2048 @ d16384 1959.18 ± 35.62 8516.84 ± 208.01 8398.73 ± 208.01 8516.84 ± 208.01 deepseek-v4-flash tg128 @ d16384 45.72 ± 4.31 38.67 ± 26.89 deepseek-v4-flash pp2048 @ d32768 1948.22 ± 1.68 16207.60 ± 39.41 16089.49 ± 39.41 16207.60 ± 39.41 deepseek-v4-flash tg128 @ d32768 36.85 ± 3.01 47.00 ± 1.41 實際跑coding任務速度大概在45-65之間, 視上下文長度及內容而定, KV快取命中一直處在高檔, 所以速度一般在50~6x t/s之間. 兩台GB10跑起來大約可以有6個500K的任務同時進行, 已經很夠用了.
不過你已經有一張RTX PRO 6000, 預算也差不多可以買另外一張, 兩張應該也是可以跑才是. 只是考慮還要跑comfyui, 可以原本RTX PRO 6000跑comfyui, 兩台GB10叢集跑deepseek v4 flash.
話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...
@soop-ladios 这信息怎么来的，是实际测试还是第三方数据？GB10两台如果可以流畅跑DS V4，它跑ComfyUI无论多慢都可以接受。主要是prefill多久。吐字速度影响没那么大。
-
@soop-ladios 这信息怎么来的，是实际测试还是第三方数据？GB10两台如果可以流畅跑DS V4，它跑ComfyUI无论多慢都可以接受。主要是prefill多久。吐字速度影响没那么大。
-
@terry 目前我兩台GB10跑deepseek V4 flash, 八台跑glm 5.2. 這是我自己兩台GB10跑出來的結果. prefill 速度上面也有, 接近2000 t/s. 每次會話的首字延遲視上下文而定, 約幾秒到分鐘不等. 首字過後緩存命中約9x%, 一般就沒甚麼prefill的花費, 這時候就是看吐字速度了.
