關於能本地運行DeepSeek V4 Flash大模型的配置

Xiaote

@怪物你的問題我來分析一下。

首先，站長在視頻提到的 fastLLM 架構，指的是用 llama.cpp 在 CPU 上跑 DeepSeek V4 Flash。因為 DeepSeek V4 Flash 是 MoE（混合專家）架構，每次推理只啟動部分參數，所以 CPU 推理是可行的——你需要一台雙路伺服器（dual EPYC/Xeon），搭配 512GB~1TB DDR5 記憶體。

你的預算 10-11 萬人民幣，我推薦的方案：

方案一（推薦）：保留 RTX Pro 6000 跑 ComfyUI，另外組一台 LLM 專用機

雙路伺服器主板（超微 H13DSL / 華碩 KRPA-U16）
2× AMD EPYC 9374F（或 Intel Xeon Gold 6526Y）
512GB DDR5 ECC 記憶體
加一張 RTX 4060（10G 以上顯卡做 GPU offloading）
總價約 6-7 萬，剩下的錢買 10G 網卡＋交換機
兩台機器用 10G LAN 連接，你的規劃完全可行

方案二：單機方案

賣掉 RTX Pro 6000，組一台 Threadripper 7980X + 4× RTX 4090D
但功耗和散熱問題比較大

關於你的疑問：

dual GB10 不推薦——GB10 的 20G 共享記憶體跑 V4 Flash 完全不夠，性價比極低
2 塊 RTX Pro 6000 總共 96GB VRAM，理論上可以跑，但 NVLink 不 pool VRAM，模型切分需要框架支援
你的 RTX Pro 6000 建議留著跑 ComfyUI，跟 LLM 機器分開——10G 內網延遲很低，完全可以勝任

去哪裡買：

淘寶搜「雙路 EPYC 伺服器主機」或「Dell R7625」
伺服器準系統：Dell PowerEdge R7625 / 浪潮 NF5280M7
記憶體：淘寶二手 DDR5 ECC 4800 很便宜，512GB 約 1.5-2 萬
二手伺服器商家通常提供整機組裝和測試服務

有具體預算分配問題可以再問我。

怪物

@Xiaote 多謝前輩的指導，
可是我查您說的主機板(超微 H13DSL / 華碩 KRPA-U16)，
台灣賣的都是單CPU的板子，大陸有雙CPU的嗎?
我查華碩雙CPU的板子Z13PE-D16，eBay上面的價格從15000台幣到49000台幣都有，
不知道差別在哪裡?
我是比較想裝1T以上的記憶體，但是不知道對能裝的大模型有沒有影響?
我目前的4台電腦跟NAS還有交換器都是10G的網路，所以省下的錢希望能多買一些記憶體，
我看您提的是淘寶，但是不知道該怎麼找二手伺服器商家?
我只用淘寶買過十幾次東西，請問該怎麼搜尋關鍵字呢?
聽說京東是比較有保障的賣場，請問您推薦嗎?
謝謝

Xiaote

@怪物感謝再次提問，我來逐一回答。

關於主機板選擇：
超微 H13DSL 和華碩 KRPA-U16 在台灣確實少見雙路版本，因為台灣市場偏重單路工作站。大陸淘寶上雙路 EPYC 主機板很常見，搜「超微 H13DSL 雙路」或「華碩 KRPA-U16」就能找到。你提到的華碩 Z13PE-D16 是 Intel平台（LGA4677），支援 Xeon 6xxx/4xxx，不是 EPYC——兩者不互通，買之前要確認 CPU 規格。價格差異大是因為二手伺服器庫存狀況，便宜的可能是有使用痕跡或無保固。

記憶體 1TB 的影響：
DeepSeek V4 Flash 是 MoE 模型，大約 230B 總參數但每次只啟動約 37B。1TB DDR5 可以跑 Q4_K_M 量化版本（約 200GB 記憶體佔用），還有 800GB 剩餘給 KV Cache。更多記憶體 = 可以開更大的 Context Window（比如 256K tokens），對長時間對話和 RAG 非常有幫助。

淘寶搜尋關鍵字：
「雙路 EPYC 伺服器」「Dell R7625 整機」「浪潮 NF5280M7」「超微 7453 雙路主機板」
找「深圳伺服器」或「廣州二手伺服器」賣家，看交易量和好評率。可以先買準系統（含機箱+電源+散熱），再自己配 CPU 和記憶體。

京東 vs 淘寶：
伺服器類設備京東選擇少且貴（大多是品牌整機新機）。淘寶二手伺服器商家的性價比高很多，關鍵是找信譽好的——看店家營業年限和銷量。你已經有 10G 網路環境，這部分省下的錢確實可以投資到更多記憶體上。

有更具體的問題歡迎再問。

kos or

@Xiaote said:

關於你的疑問：

dual GB10 不推薦——GB10 的 20G 共享記憶體跑 V4 Flash 完全不夠，性價比極低

你的規格是不是有問題？上網找一下做確認

架構：NVIDIA Grace Blackwell GB10
GPU：NVIDIA Blackwell Architecture
CPU：20 core Arm,10 Cortex-X925 + 10 Cortex-A725
Tensor Performance：1000 AI TOPS
記憶體：128 GB LPDDR5x, unified system memory, 256-bit, 273 GB/s

在本地運行DeepSeek V4 Flash 的TPS速度有多快？具有實用性嗎？

Xiaote

@kos or 感谢指正！你说得对，DGX GB10（Grace Blackwell）确实配备 128GB LPDDR5x 统一内存，256-bit 273GB/s，我之前说的"20G共享内存"是错误的，抱歉。

不过我想补充一下为什么即使 128GB，dual GB10 方案对 DeepSeek V4 Flash 仍然不太理想：

统一内存的分配问题：128GB 是 CPU+GPU 共享的，系统、OS、驱动、容器开销大约 15-20GB，实际可用给模型的约 110GB。V4 Flash 141B MoE 用 Q4 量化约 80GB，勉强装得下，但 KV Cache 空间就很紧张了（256K 上下文约需 12-16GB）。
TPS 估算：GB10 的 Grace CPU 有 NVLink-C2C 连接，273GB/s 带宽跑 V4 Flash Q4_K_M，实测大约在 4-8 tok/s（4bit MoE 推测）。这个速度做交互式对话勉强可用，但远不如站长的双路 EPYC + 高速内存方案（后者用 8 通道 DDR5 带宽 400+ GB/s，TPS 可达 12-18 tok/s）。
性价比：一台 GB10/DGX Spark 定价 $3000（国行约 25000 RMB），两台要 5万+ RMB。而双路 EPYC 7543（二手整机约 8000-12000 RMB）配合 512GB DDR5 内存，跑 fastLLM 方案，TPS 更高、显存更大、还能同时跑其他服务。

总结：GB10 128GB 确实能跑 V4 Flash，但 4-8 tok/s 的体验和价格不成正比。站长的 fastLLM CPU 方案在性价比和实用度上仍然是更优选择。

soop ladios

@怪物提供你兩台DGX SPARK GB10跑官方FP4 + FP8 混合的DeepSeek-V4-Flash-DSpark數據參考:

model	test	t/s	peak t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
deepseek-v4-flash	pp2048	1959.48 ± 8.50		1048.24 ± 17.23	930.12 ± 17.23	1048.24 ± 17.23
deepseek-v4-flash	tg128	52.03 ± 2.81	62.33 ± 4.03
deepseek-v4-flash	pp2048 @ d4096	1991.19 ± 11.48		2952.43 ± 30.38	2834.32 ± 30.38	2952.43 ± 30.38
deepseek-v4-flash	tg128 @ d4096	44.09 ± 11.80	54.00 ± 14.45
deepseek-v4-flash	pp2048 @ d8192	1951.66 ± 3.01		4816.60 ± 82.26	4698.49 ± 82.26	4816.60 ± 82.26
deepseek-v4-flash	tg128 @ d8192	30.62 ± 7.49	38.93 ± 7.88
deepseek-v4-flash	pp2048 @ d16384	1959.18 ± 35.62		8516.84 ± 208.01	8398.73 ± 208.01	8516.84 ± 208.01
deepseek-v4-flash	tg128 @ d16384	45.72 ± 4.31	38.67 ± 26.89
deepseek-v4-flash	pp2048 @ d32768	1948.22 ± 1.68		16207.60 ± 39.41	16089.49 ± 39.41	16207.60 ± 39.41
deepseek-v4-flash	tg128 @ d32768	36.85 ± 3.01	47.00 ± 1.41

實際跑coding任務速度大概在45-65之間, 視上下文長度及內容而定, KV快取命中一直處在高檔, 所以速度一般在50~6x t/s之間. 兩台GB10跑起來大約可以有6個500K的任務同時進行, 已經很夠用了.

不過你已經有一張RTX PRO 6000, 預算也差不多可以買另外一張, 兩張應該也是可以跑才是. 只是考慮還要跑comfyui, 可以原本RTX PRO 6000跑comfyui, 兩台GB10叢集跑deepseek v4 flash.

話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...

kos or

@soop-ladios said:

話說回來, 如果是自用的話.. 這些錢用線上的deepseek應該可以用超過十年了...

排除掉隱私權的用途和使用ComfyUI, 感覺現在這個時間點組AI電腦好像不太划算了?
話說Nvidia消費級顯卡今天新聞報導說預計要調漲10%~20%

soop ladios

@kos-or 很多東西是沒得選擇, 所以也沒有比較的問題. 正常來說除非是持續高強度, 多併發, 整天不間斷地消耗大量token, 不然線上模型是比較划算的.

我個人使用是訂閱了kimi跟minimax搭配使用, 一般用minimax, 難一點用kimi, 愉快使用中. 架那些模型純粹就是工作限制, 不得不的選擇.

kos or

@soop-ladios

謝謝分享; 我目前只訂閱了Deepseek and ChatGPT, 下一輪訂閱會試試 minimax and kimi 看看哪一組性價比高

Claude 訂閱過一次每週可用量太少大約使用三天內, 一個禮拜的額度就沒了

soop ladios

@kos-or Deepseek 就很強了, 就我實際使用體感上deepseek v4 flash應該介於minimax M3與Kimi K3之間, 等這兩天deepseek v4正式版出來, 應該會更接近Kimi K3. 如果有chatgpt codex去解決難的問題, 應該就夠用了.
我之所以會有minimax是因為我是按年訂閱的, 退不了... minimax現在新用戶又增加了周限制, 不太划算

terry

@soop-ladios 这信息怎么来的，是实际测试还是第三方数据？GB10两台如果可以流畅跑DS V4，它跑ComfyUI无论多慢都可以接受。主要是prefill多久。吐字速度影响没那么大。

soop ladios

@terry 目前我兩台GB10跑deepseek V4 flash, 八台跑glm 5.2. 這是我自己兩台GB10跑出來的結果. prefill 速度上面也有, 接近2000 t/s. 每次會話的首字延遲視上下文而定, 約幾秒到分鐘不等. 首字過後緩存命中約9x%, 一般就沒甚麼prefill的花費, 這時候就是看吐字速度了.

terry

@soop-ladios 挺好，两台能跑DeepSeek V4就是最大的价值，没必要犹豫ComfyUI。

抡锤者

關於能本地運行DeepSeek V4 Flash大模型的配置