服务器:
CPU: AMD EPYC 7F52(16c/32t) ZEN2架构 CPU
主板: Supermicro H12SSL-I
内存: 128GB DDR4 2400(8x16GB) 跑满8ch, 宽带约153GB/s
SSD: Samsung 980 Pro 1TB PCIe 4.0 NVME SSD
GPU: 2x 2080TI 22GB(共44GB VRAM) 有NVLink
电源: 长城 1250w

Strata 跑在Proxmox VE 9 的虚拟化环境, 可能有几%的性能损耗

Strata配置:
Guest OS: Rocky Linux 10
Nvidia Driver: 615.71.09
CUDA: 13.4
Context上下文: 200K
KV Cache: INT8
MTP: 4
Prefill: auto:65536

性能:
Prefill: 1000-1100 t/s
Decode: 110-60 t/s

Prefill 时看到只有单线程在跑, 加上Strata 只跑PCIe 3.0 x16通道, 跟我之前用llama.cpp P2P=on 跑3.8 27B Q6(2300 t/s)比, 数字上几乎慢了1 倍, 但体验上没有感觉变差, 为什么下面有解释

Decode 响应速度极快, 吐字时CPU 32线程全跑满, VRAM Hit Rate 长期>95%, 但在nvidia-smi看 2张2080 TI 只占用 50%

感觉瓶颈在CPU上面, 如果换成32核或者再快些的CPU, Decode表现更好

我主要用途用来跑opencode, 修改公司的软件, 我公司领导也用了一下, 觉得吐字速度开始有云端API的感觉

Qwen 3.8 Flash Next IQ3 精度虽然只有3.5bit, 但用下来感觉比3.8/3.6 27B Q6 智力更好, 体验也更好, 尤其Prefill, Strata只处理不在KV Cache里的上下文

总结: 单兵作战写写代码绝对够用, 跑单Agent 是没问题, 但多Agent 并发暂时不太合适