请教一个公司用的配置，希望有高低两种建议
-
按你的约束（15 人、5 个 64K 热会话、冷启动 prefill 30-50s、decode ≥30 tok/s、预算 20 万左右），给两档：
低配（偏 27B，10-15 万）
- GPU：2× RTX 5090 32G（64G 总显存），27B Q4 用 TP=2；或 4× R9700 32G（128G，ROCm 要自己验 SGLang/vLLM 支持）
- CPU/主板：EPYC 7003/9004 单路，或 TRX50 + 7960X；双卡至少 x8/x8，别用消费级 B 系硬拆
- 内存：256G DDR5 ECC（HiCache 温会话会吃内存）
- 存储：4T NVMe（权重 + HiCache 落盘）
- 电源：1600W 起，每卡独立 12V
- 判断：27B Q4 权重约 16G，5 路 64K KV 按 fp8 约 20G，加缓冲 64G 能放下，decode 30 tok/s 问题不大
高配（能兼跑 DeepSeek V4.1 Flash 量化版，20 万+）
- GPU：2× RTX PRO 6000 96G（192G）或 4× 5090
- CPU/内存：EPYC 9004 单路 / 512G DDR5 ECC
- 存储/电源：8T NVMe / 2000W
- 判断：V4 Flash 量化版按公开口径约 120-160G 显存准备，和 27B 错峰常驻更稳
几个容易踩的点
- 64K 冷 prefill 30-50s 主要看 prefill 吞吐和 radix cache 命中，不是显存；27B 在 5090 上 64K 大约十几到二十几秒，双卡 TP 会被 all-reduce 拖累，建议先单卡跑 27B。
- 5 个热会话建议 KV 用 fp8/int8，不然 64K×5 比权重还吃显存；HiCache 的温会话要预留内存和 NVMe 带宽。
- 15 人团队真正的瓶颈通常是并发调度和运维，不是峰值 t/s；留一张小卡给 embedding/rerank 更实际。
- 让供应商按“5 并发 + 64K + 30 tok/s”做 POC，别只看单请求跑分。
-
-
低配可以试一试pro6000 maxq 套机，高配置就选择g300 workstation
@imbiplaza-ASUS
客户：掌柜，来口热乎的
掌柜：好嘞，满汉全席侍候 -
-
@kop-wang 预算没定，感觉 20 万应该可以吧，更高一点说不定也行，用 sg-lang的话，保留 5 个热 Session ，其他的交给HiCache 温 Session 扩到 15 个；想要64K 上下文，prefill冷启动，30-50s吧，有RadixAttention 缓存复用，增量prefill，2 秒以内；并发 Decode，至少≥ 30 tok/s
-
-
我看到京东上有自营店卖这个价格20万，ESC8000G4+128G+2T+4090 48G*4，这个配置是不是只要加点内存就可以了？？
-
可靠性要到什么程度？是不是每天办公刚需。因为如果是严重依赖的话，那其实不应该只组一台把所有显卡都插在上面，而应该组两台，最好负载均衡和FailOver。另外使用Proxmox，或者Ubuntu系统自带的快照。两台升级时间也要错开。
@jenaflex 没有那么刚需，晚上下班都可以关机的。嗯，Proxmox这个思路很好，谢谢
-
@kop-wang 预算没定，感觉 20 万应该可以吧，更高一点说不定也行，用 sg-lang的话，保留 5 个热 Session ，其他的交给HiCache 温 Session 扩到 15 个；想要64K 上下文，prefill冷启动，30-50s吧，有RadixAttention 缓存复用，增量prefill，2 秒以内；并发 Decode，至少≥ 30 tok/s
20万预算是个很尴尬的区间呢 Pro6000 只能买一张
-
-
@Tony-Wang Mac Studio 512GB 统一内存 怎么样？
@Tony-Wang Mac Studio 512GB 统一内存 怎么样？
可能也可以，不过我感觉prefill可能会低一些
-
-
-
@张光璞
我裝了四台DGX SPARK GB10跑deepseek-v4.1-flash-1017 , KV緩存有3,371,520 logical tokens, 看你要分成幾併發, 我是設定500K, 10併發.
部署來源; https://github.com/knapcio/DeepSeek-V4.1-Flash-4x-DGX-Spark-TP4
一些測試數據:指標 標準 v2.4 目前配置 實際 KV tokens 2,984,960 3,371,520 增量 — +386,560，約 13% 實際 prompt tokens TTFT（秒） 有效 prefill（tok/s） 32,832 12.238 2,682.73 131,144 37.584 3,489.33 262,222 74.952 3,498.51 500,075 200.850 2,489.79 1,048,006 401.592 2,609.63 併發 單 stream decode（tok/s，中位數） Aggregate decode（tok/s） C1 88.95 88.95 C2 55.47 109.86 C4 39.00 149.95 C8 28.47 217.92 C10 24.29 235.56 -
@张光璞
我裝了四台DGX SPARK GB10跑deepseek-v4.1-flash-1017 , KV緩存有3,371,520 logical tokens, 看你要分成幾併發, 我是設定500K, 10併發.
部署來源; https://github.com/knapcio/DeepSeek-V4.1-Flash-4x-DGX-Spark-TP4
一些測試數據:指標 標準 v2.4 目前配置 實際 KV tokens 2,984,960 3,371,520 增量 — +386,560，約 13% 實際 prompt tokens TTFT（秒） 有效 prefill（tok/s） 32,832 12.238 2,682.73 131,144 37.584 3,489.33 262,222 74.952 3,498.51 500,075 200.850 2,489.79 1,048,006 401.592 2,609.63 併發 單 stream decode（tok/s，中位數） Aggregate decode（tok/s） C1 88.95 88.95 C2 55.47 109.86 C4 39.00 149.95 C8 28.47 217.92 C10 24.29 235.56
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！