DeepSeek V4 Flash Concurrency Benchmark

• 測試時間：2026-09-02
• 工具：llama-benchy 0.3.8.dev2+gff162bcfc
• 模型：deepseek-v4-flash
• 參數：PP=2048、TG=128、每組 5 runs、--no-cache

測試結果

Individual prefill 的 median：c4 為 487.2 tok/s/request，c5 為 485.5 tok/s/request。

這是vllm跑的TP2, 看起來是勉強到你的最低要求. 還是TP4比較有餘裕.
附註:

1. 為了增加更多可用ctx (目前是500K x 6), 我把max-num-batched-tokens設4096 , 再多會OOM. 如果把KV cache減少, 可以留多一點空間, 就可以把這個值調大, prefill會更快
2. 這是KV緩存完全沒命中的測試. 實際prefill數值要視使用情況而定, 可能更快也可能更慢. GB10是統一記憶體, KV緩存到ram不會是一個方案. 若常有長上下文冷啟動需求, 可能要考慮nvme緩存, 這需要折騰.

@KAKAHermes 说:

@Bunsei 我有嘗試租借GB10 ，但很難模擬多人使用場景。

这个简单，你就直接全程交给chatgpt好了

@KAKAHermes 说:

對內尖峰同時發問支持5人， 希望Token數要有15-25 每秒才可以接收。

這一台GB10應該是做不到的. 需要TP才行. 建議買四台GB10跟一台CRS504 100G switch, 跑TP4 deepseek v4 flash vision exp, 或是不要switch跑兩組TP2
兩者我都跑過, TP2 多concurrency tok/s 80+應該是沒有問題, TP4的數據沒有留, 應該是更快.
跑litellm應該是不用那麼多ram, 數據分流litellm內部就可以做到, 不管下面接的是一組, 兩組還是多組.
我現在litellm接了glm 5.3 (GB10 x 8), qwen 3.8 27B Q8 (v100 x 2), ornith-1.5 35B Q4(3060 12G + dram offload), deepseek v4 flash 0731 (GB10 x 2), qwen 3.8 flash next (GB10 x 1), 分別服務兩個網段. litellm也才用了一台i5-1135G7, 16G ram的小電腦而已.

現有的伺服器可以增加內存去128或512GB, 之後部署API Gateway，作爲API Load Balancing，對接兩臺GB10, 物理分隔內部及外部需求。也可以保留未來擴充的可能性。（Node C）

對內尖峰同時發問支持5人， 希望Token數要有15-25 每秒才可以接收。

看看各位大神對這個方案有什麼看法。

@zorg 说:

@KAKAHermes 我投mac studio，

架构什么的我不懂，但我明白一件事： 都是用的台积电最新工艺，都是美帝最高科技 ， 同工艺同时代产品下不可能老黄卡多费那么多电是白费的。

@zorg 说:

@KAKAHermes 我投mac studio，我也是从3090、5090后来转向mac 平台，macos反而最简单，少很多对硬件兼容性、散热、稳定性、可维护的时间和人力成本。我在跑omlx我觉得很友好，稳定。年初从m5 max 128开机部署好omlx以后它就一直在角落跑，甚至不是高密度长时间运行都可以直接用显示器的typec线充电，噪音可忽略，耗能少，环境友好。虽然不知道将来是否需要继续扩充多台，但是目前看4台m3 ultra也能达到内存池扩展的效果，就像老特说的，32G5090跑comfy ui就不算瓶颈了，这样mac做llm server endpoint，mac mini、macbook pro跑agent，5090跑comfy ui，系统风险也有隔离，看起来也是一个完整的场景了。

mac 只能一个人玩，现在来看mac M5 ultra 显卡的计算能力也就将将够一个人长上下文（跑170G 左右的deepseek flash v4） 。
M3 ultra 长上下文都 跑不过双机 DGX spark 。白瞎了那么大的内存带宽

2048K token的8bit kv cache，就需要64GB显存了，再加上模型本身，以及其他开销，单张RTX PRO 6000是不够的。

而且你还不只是支持内部使用，还要对外提供chatBox。总体上来看你的预算和方案都是不太能支持的。

@zorg 说:

mac studio

mac studio的問題在於併發，你說的優點前提都是個人使用，小公司的場景很快就會面臨搶資源的問題

畢竟多一張卡就可以多開一個 session 速度還穩定(慢但可用)， N卡 優勢是你可以跑更大的 context 還有速度超快(但多併發會拖慢)，
所以才說你最好先做一下實驗確定需求

這部分我過幾週有空可以測試一下 PRO6000 跑 qwen 3.8 VLLM 到能併發多少用戶，
然後模擬 PRO6000 VS A100 / R9700 / 3090 對外 coding / RAG 服務的表現
真的要買 PRO6000 的話就要快，價格每天都在漲.....但有機會的話還是雙卡 PRO6000 起步會比較好

原本計劃的RTX PRO 6000 伺服器版本是被動散熱，還需要額外的High Performance Fan Module， GPU Riser & Air Baffle Kit等。