请教一个公司用的配置，希望有高低两种建议
-
-
@kop-wang 预算没定，感觉 20 万应该可以吧，更高一点说不定也行，用 sg-lang的话，保留 5 个热 Session ，其他的交给HiCache 温 Session 扩到 15 个；想要64K 上下文，prefill冷启动，30-50s吧，有RadixAttention 缓存复用，增量prefill，2 秒以内；并发 Decode，至少≥ 30 tok/s
-
-
我看到京东上有自营店卖这个价格20万，ESC8000G4+128G+2T+4090 48G*4，这个配置是不是只要加点内存就可以了？？
-
可靠性要到什么程度？是不是每天办公刚需。因为如果是严重依赖的话，那其实不应该只组一台把所有显卡都插在上面，而应该组两台，最好负载均衡和FailOver。另外使用Proxmox，或者Ubuntu系统自带的快照。两台升级时间也要错开。
@jenaflex 没有那么刚需，晚上下班都可以关机的。嗯，Proxmox这个思路很好，谢谢
-
@kop-wang 预算没定，感觉 20 万应该可以吧，更高一点说不定也行，用 sg-lang的话，保留 5 个热 Session ，其他的交给HiCache 温 Session 扩到 15 个；想要64K 上下文，prefill冷启动，30-50s吧，有RadixAttention 缓存复用，增量prefill，2 秒以内；并发 Decode，至少≥ 30 tok/s
20万预算是个很尴尬的区间呢 Pro6000 只能买一张
-
-
@Tony-Wang Mac Studio 512GB 统一内存 怎么样？
@Tony-Wang Mac Studio 512GB 统一内存 怎么样？
可能也可以，不过我感觉prefill可能会低一些
-
-
-
@张光璞
我裝了四台DGX SPARK GB10跑deepseek-v4.1-flash-1017 , KV緩存有3,371,520 logical tokens, 看你要分成幾併發, 我是設定500K, 10併發.
部署來源; https://github.com/knapcio/DeepSeek-V4.1-Flash-4x-DGX-Spark-TP4
一些測試數據:指標 標準 v2.4 目前配置 實際 KV tokens 2,984,960 3,371,520 增量 — +386,560，約 13% 實際 prompt tokens TTFT（秒） 有效 prefill（tok/s） 32,832 12.238 2,682.73 131,144 37.584 3,489.33 262,222 74.952 3,498.51 500,075 200.850 2,489.79 1,048,006 401.592 2,609.63 併發 單 stream decode（tok/s，中位數） Aggregate decode（tok/s） C1 88.95 88.95 C2 55.47 109.86 C4 39.00 149.95 C8 28.47 217.92 C10 24.29 235.56 -
@张光璞
我裝了四台DGX SPARK GB10跑deepseek-v4.1-flash-1017 , KV緩存有3,371,520 logical tokens, 看你要分成幾併發, 我是設定500K, 10併發.
部署來源; https://github.com/knapcio/DeepSeek-V4.1-Flash-4x-DGX-Spark-TP4
一些測試數據:指標 標準 v2.4 目前配置 實際 KV tokens 2,984,960 3,371,520 增量 — +386,560，約 13% 實際 prompt tokens TTFT（秒） 有效 prefill（tok/s） 32,832 12.238 2,682.73 131,144 37.584 3,489.33 262,222 74.952 3,498.51 500,075 200.850 2,489.79 1,048,006 401.592 2,609.63 併發 單 stream decode（tok/s，中位數） Aggregate decode（tok/s） C1 88.95 88.95 C2 55.47 109.86 C4 39.00 149.95 C8 28.47 217.92 C10 24.29 235.56
本帖参与讨论人数已达 10+，入选热议，作者 +3 积分奖励，感谢分享！
